Straks søknadene er mottatt gjør Forskningsrådet en forvurdering. Søknader som ikke tilfredsstiller de formelle kravene som er beskrevet i utlysningen, kan bli avvist.

Både i 2020 og i 2021 behandles søknadene i 29 ulike panelgrupper. Hver panelgruppe er igjen oppdelt i et antall paneler gitt av faglig bredde i søknadene og antall søknader til forskningsområdet.

Se panelgruppene for Forskerprosjekt i 2020 og 2021 (pdf).

Totalt vil det være cirka 100 paneler i 2021. Søknadens forskningsinnhold er retningsgivende for hvilket panel den plasseres i, ikke temaet eller temaene søkeren har valgt. Vi bruker en maskinlæringsalgoritme som støtte for å fordele de cirka 2500 søknadene på de ulike panelgruppene. Algoritmen er trent med tidligere års plassering av søknader.

Saksbehandlerne for hver panelgruppe plasserer den enkelte søknaden slik at den skal få best mulig behandling. Mange søknader blir gjenstand for diskusjon før de plasseres i panelgruppe. Det gjelder for eksempel tverrfaglige søknader, som kan passe like godt i flere panelgrupper, og søknader der det er vanskelig å finne et faglig "slektskap" med andre. I 2020 ble mange av søknadene plassert i en annen gruppe enn maskinlæringsalgoritmen foreslo.

Når gruppeplasseringen er ferdig, organiserer vi søknadene i paneler à 20-30 søknader. Søknadene innenfor et panel har et faglig sammenfall som tilsier at 4-7 fageksperter samlet har kompetanse til å vurdere de aller fleste søknadene. Normalt er samme saksbehandler involvert i alle delene av prosessen, fra søknadene plasseres i et panel og fram til panelmøtet er avholdt.

Å finne fageksperter til å vurdere søknadene er et arbeid som starter allerede før søknadsfristen, men som ikke kan ferdigstilles før søknadene er fordelt i paneler.

Vi har noen generelle krav til fagekspertene vi bruker:

• De skal ha sin arbeidsplass i utlandet.
• De skal være aktive forskere med solid egenproduksjon, både med hensyn til kvantitet og kvalitet. 
• De bør ha professorkompetanse. Minstekravet er førstestillingskompetanse eller tilsvarende. 

Expert Lookup er vårt viktigste verktøy for å finne navn på fageksperter. Vi gjør både automatiserte søk på grunnlag av prosjekttittel og sammendrag, og manuelle søk. Saksbehandlere gjør deretter en grundig vurdering av om dette er fageksperter som vi mener kan passe i våre paneler. Vi supplerer søkene i Expert Lookup med søk på andre nettsteder, som Web of Science, Google Scholar, kjente utenlandske universiteter innenfor de ulike fagfeltene. Listen over kilder er lang og varierer fra fagfelt til fagfelt. Vi vurderer også søkerens egne forslag til egnede fageksperter.

Som hovedregel bruker vi samme fagekspert maksimalt tre år på rad.

Vi offentliggjør navn på alle fageksperter og hvilket panel de har deltatt i, etter at søknadsbehandlingen er avsluttet.

Fagekspertene som har stilt seg positive til å delta i et panel, får tilsendt en liste over alle prosjektledere og prosjektdeltakere i søknadene som panelet skal behandle, og oppgir sitt habilitetsforhold til alle på listen. Vi ber dem være spesielt oppmerksom på punktene i habilitetsbestemmelsene som handler om samarbeid, vennskap og konflikter.

Habilitet i saksbehandlingen.

Panelet skal bestå av minimum fire medlemmer. Den samlede kompetansen til medlemmene skal dekke søknadenes spenn med hensyn til tema og fag, og langs aksen fra grunnleggende til anvendt forskning. Minst ett av panelmedlemmene skal ha erfaring med tverrfaglig forskningsarbeid innenfor forskningsfeltet eller -feltene panelet skal dekke.

Fagekspertene erklærer sitt kompetansenivå basert på tittel, mål og sammendrag for alle søknadene panelet skal behandle. Før de får denne informasjonen, må de samtykke til vår konfidensialitetserklæring.

Fagekspertene oppgir ett av følgende kompetansenivåer på hver søknad:

• Specialist (S): The proposal is within your primary area(s) of expertise. You are well qualified to evaluate the proposal.
• Generalist (G): You have a general knowledge of at least one of the main subjects of the proposal. You are qualified to evaluate the proposal.
• Minor (M): You have only minor relevant expertise on the main subjects of the proposal.

Forskningsrådets kompetansekrav er at minst to av fagekspertene må ha generalist- eller spesialistkompetanse på søknaden. Dersom kompetansekartleggingen av panelet viser at noen søknader ikke er tilstrekkelig dekket, finner vi eksterne fageksperter med spisskompetanse i tillegg. Disse fagekspertene på enkeltsøknader gir sin vurdering på lik linje med panelmedlemmene. I 2020 hadde vi cirka 460 fageksperter i totalt 90 panel, og i tillegg 260 fageksperter som bidro på vurdering av enkeltsøknader.

I forbindelse med den formelle oppnevningen av panelet får fagekspertene informasjon om behandlingsprosessen i dokumentet Guidelines for referee panels assessing Researcher Projects 2021 (engelsk pdf). I dokumentet beskrives hele prosessen og fagekspertenes rolle før, under og etter panelmøtet.

Vurderingskriteriene Excellence, Impact og Implementation er utdypet, sammen med en definisjon av karakterene på vår syvtrinns skala. Vi vektlegger blant annet viktigheten av konsistent karaktergiving og kvaliteten på tilbakemeldingene til søkerne.

Alle panelmedlemmene leser og vurderer alle søknadene som panelet behandler. For hver søknad får to av panelmedlemmene tildelt et spesielt ansvar, som første- og andresaksordfører.

Panelmedlemmene leverer sine individuelle vurderinger for hver søknad i forkant av panelmøtet. De individuelle vurderingene sendes ikke til søker, men blir delt mellom panelmedlemmene når alle har levert sine vurderinger og danner grunnlaget for deres forberedelse til diskusjonene i det felles panelmøtet.

• Førstesaksordfører leverer et utkast til full skriftlig vurdering og karakter for hvert av de tre vurderingskriteriene, samt en samlet vurdering og karakter, før panelmøtet.
• Andre saksordfører leverer kortere skriftlige vurderinger og karakterer for hvert kriterium før panelmøtet.
• De andre panelmedlemmene leverer karakterer på alle kriteriene før panelmøtet.

Hvis det er med eksterne eksperter som ikke er en del av panelet, leverer de en full skriftlig vurdering og karakter for hvert kriterium, samt en samlet vurdering og karakter, før panelmøtet.

Prosedyrene i panelmøtet er beskrevet i Guidelines for referee panels assessing Researcher Projects 2021.

Når panelet møtes, stiller medlemmene med forskjellig faglig ståsted, ulik vektlegging av elementene i søknaden og sin egen tolkning av karakterskalaen. Gjennom reell diskusjon blir søknaden vurdert fra ulike perspektiver. Panelet kommer fram til omforente vurderinger, en kalibrert bruk av karakterskalaen og en rangert liste over de beste søknadene.

Behandlingen i et sett av paneler som er inndelt etter søknadenes forskningsinnhold, gir en vurdering av kvaliteten på det foreslåtte prosjektet uten å skjele til de tematiske prioriteringene som er definert under hvert tema i utlysningen.

Forskningsrådets panelansvarlige deltar ikke i den faglige diskusjonen. Panelansvarlige har en veiledende rolle og sørger for framdrift i møtet, bidrar til felles forståelse av vurderingskriteriene og karakterskalaen og at alle kommer til orde, håndterer inhabilitet i tråd med reglene, stopper diskusjoner om forhold som ligger utenfor panelets mandat og leser korrektur på de endelige skriftlige vurderingene.

Forskningsrådet foretar relevansvurdering av søknadene. Temaet Banebrytende forskning (FRIPRO) er unntatt relevansvurdering.

Mens panelets vurdering av søknadens impact sier noe om prosjektets generelle potensial for vitenskapelige og samfunnsmessige virkninger og effekter, vil søknaden vurderes for relevans for de prioriteringene som er beskrevet under hvert tema i utlysningen. Dette er prioriteringer som er forankret i departementenes tildelingsbrev til Forskningsrådet.

Søknader må ha fått samlet vurdering fra panelet over en terskelverdi som er satt for hvert tema, for å bli relevansvurdert. Hvis en søker har valgt flere tema for sin søknad, blir det gjort uavhengige relevansvurderinger for hvert av temaene.

Vi benytter vedlegget Relevance to the topic, prosjektbeskrivelsen og ekspertpanelets vurdering av søknaden som grunnlag for vurderingen.

Når porteføljevurderingen starter, er søknadene gitt fem separate karakterer og skriftlige vurderinger for henholdsvis excellence, impact, implementation, samlet vurdering og relevans (søknader rettet mot banebrytende forskning (FRIPRO) er ikke vurdert for relevans og har fire karakterer). I tillegg har de beste søknadene fått en rangeringsplass i panelet.

Når vi prioriterer mellom søknader i arbeidet med rangerte lister til porteføljestyrene, gjør vi en porteføljevurdering som tar hensyn til følgende faktorer:

• Karakterene som er gitt i vurderingene av søknadene. Samlet karakter fra panelet tillegges mer vekt enn karakter for relevans.
• En god fordeling av prosjekter på temaets prioriterte områder.
• Sammenhengen mellom søknadstilfang og kvaliteten på søknadene innenfor samme tema i andre utlysninger i 2021.
• Eventuelle endringer i departementenes økonomiske eller faglige føringer for bevilgningen.
• At prosjekter med kvinnelig prosjektleder blir prioritert når søknadene ellers vurderes likt.

For søknader rettet mot banebrytende forskning (FRIPRO) er i tillegg panelets rangeringsplass viktig i porteføljevurderingen.

Alle disse faktorene inngår i porteføljevurderingen, som er grunnlaget for de rangeringslistene vi legger fram for porteføljestyrene.

Beslutningen om hvilke søknader som innvilges, tas i porteføljestyrene. Kun søknader med karakter 5, 6 eller 7 på samlet vurdering fra panelet, vil bli vurdert for finansiering.

Vi har 15 porteføljestyrer, som viser stor variasjon i disponibelt budsjett, antall søknadstyper de lyser ut, antall forskerprosjekt-søknader til behandling, tematisk bredde, og forventet andel innvilgede søknader. Faktorene nevnt over (se avsnittet "Porteføljevurdering") vil vektlegges forskjellig av de ulike styrene.

Banebrytende forskning (FRIPRO) bevilges av de tre fagporteføljestyrene. FRIPRO har som formål å finansiere de aller beste søknadene med særlig vekt på vitenskapelig kvalitet, uavhengig av tema. Det betyr at karakteren for Excellence tillegges ekstra vekt, og at porteføljestyret også tar særskilt hensyn til søknadens rangering i panelet ved beslutning om bevilgning.

De øvrige porteføljestyrene, med ansvar for definerte tematiske porteføljer, kan vektlegge faktorene ulikt, men aldri slik at det går på tvers av de prioriteringene som er beskrevet under det aktuelle temaet i utlysningsteksten.

Ofte legger administrasjonen fram alternative rangeringslister for porteføljestyret, der disse faktorene er ulikt vektlagt. Listene er et utgangspunkt for diskusjonen i porteføljestyret om hvilke hensyn de vil velge å vektlegge, innenfor budsjettet de har tilgjengelig og prioriteringene oppgitt i utlysningen. Porteføljestyrets diskusjon kan resultere i beslutningsvedtak som skiller seg fra de forslagene Forskningsrådet har lagt fram.

Søknader som retter seg mot flere temaer, kan inngå i innstillingslistene til flere porteføljestyrer. Hvis den blir innvilget i flere porteføljestyrer, blir den finansiert i én av porteføljene. En annen søknad flyttes da opp fra venteliste til bevilgning der hvor midler frigjøres.

I 2021 får alle søkere tilbakemelding i form av karakterer og skriftlige vurderinger fra et samlet panel.

I 2020 fikk søknadene som ikke passerte et kvalifiseringstrinn for full panelbehandling, cirka 30 prosent av søknadene, kun førstesaksordførers skriftlige tilbakemelding som faglig tilbakemelding. Det var allikevel karakterene fra alle panelmedlemmene som avgjorde om en søknad passerte kvalifiseringstrinnet eller ikke. Rutinen ble innført som et korona-tiltak og videreføres ikke i 2021.

For årets utlysning vil vi i uke 25 informere på våre nettsider og i nyhetsbrevet om hvilke søknader som er innvilget.

Søkere som har fått sin søknad avslått, får avslagsbrev i Mitt Nettsted så raskt det lar seg gjøre.

Som følge av ekstra midler til fremragende forskning og utfordringsdrevet humaniora vil vi også innvilge noen få søknader i juli/august 2021.

Midler fra Fellesløft IV tildeles etter en annen prosess, der endelige beslutninger tas på høsten. Prosessen er beskrevet i utlysningsteksten.