Slik fungerer fagfellevurdering

«Forskning viser at...», kan vi lese nesten hver dag i avisoverskriftene. Noen har publisert en rapport om noe, og plutselig er alt vi trodde vi visste om klima, virus, slanking og hjernen snudd på hodet. Eller bekreftet.

Et eller annet sted i artikkelen er det kanskje lagt inn et forbehold om at «rapporten er publisert men ennå ikke fagfellevurdert».

Hva er fagfellevurdering?

Diskusjonen om fagfellevurdering nylig blusset nylig opp igjen, etter at en rapport fra konsulentselskapet Rystad Energy viste at det ikke vil gi noen positiv klimaeffekt globalt å kutte i norsk olje- og gassproduksjon. «Denne rapporten har null troverdighet. Dette er ikke fagfellevurdert forskning», kontret MDG-politiker Lan Marie Berg.

Selv har jeg ingen forutsetning for å si om rapporten er troverdig eller ikke. Men saken gir likevel anledning til å kaste lys over en prosess som alle forbrukere av forskning og medier har nytte av å forstå. Forhva er egentlig fagfellevurdering?

Omstendelig prosess

Jeg jobber ved et universitetsbibliotek, og de fleste slike tilbyr kurs i kildebruk. Mange studenter strever med å vurdere hva slags tekster man bør bruke når de skal skrive en semesteroppgave. Ofte må vi forklare forskjellen mellom tekster som er skrevet av fagpersoner, og tekster som er skrevet av fagpersoner og i tillegg har vært gjennom fagfellevurdering før den ble publisert.

Mange blir overrasket når de hører hvor omstendelig den sistnevnte prosessen egentlig er. Men å føle litt på den omstendeligheten kan være god vaksine mot overilte konklusjoner. Så stålsett deg – dette blir en omstendelig tekst.

Anonymitet og troverdighet

Hvordan fagfellevurdering gjøres kan variere veldig mellom ulike fagfelt, men generelt kan prosessen se slik ut: Når en gruppe forskere har gjennomført et forskningsprosjekt (målinger, intervjuer, undersøkelser, analyser, osv.), og dessuten fått tilbakemelding fra andre forskere underveis, skriver de en tekst.

Teksten presenterer som oftest tidligere eller lignende forskning, teoretiske refleksjoner, beskrivelse og vurdering av metodene de har brukt, funnene fra undersøkelsen, analyser av funnene, og slike ting. Hensikten med teksten er å overbevise det øvrige fagmiljøet om at konklusjonen av arbeidet er troverdig og gyldig.

Forskerne sender teksten til redaksjonen for et vitenskapelig tidsskrift. Det som gjør et tidsskrift vitenskapelig er ikke temaene det tar opp, men prosessen tekster må gjennom for å bli publisert der.

Hvis redaksjonen mener artikkelens tematikk passer i tidsskriftet, kontakter de to eller tre forskere på samme fagområde (fagfeller), som oftest med professorkompetanse eller tilnærmet, og sender dem teksten. Det er disse som er de såkalte fagfellene – andre eksperter på samme fagområde.

Hele den påfølgende prosessen – selve fagfellevurderingen – er anonym. Forfatterne skal ikke vite hvem fagfellene er, og omvendt.

De fleste avvises

Fagfellene, som heller ikke skal kjenne hverandres identitet, sender teksten tilbake til redaktøren med hver sine utfyllende vurderinger og anbefalinger.

Ofte anbefaler de å ikke publisere teksten – de mest prestisjetunge tidsskriftene avviser 95 prosent av innsendte artikler. Da får forfatterne beskjed om å prøve igjen en annen gang, helst et annet sted.

Anbefaler de derimot publisering, er det oftest på betingelse av at forfatterne gjør endringer, av og til ganske omfattende. Det kan være problemer eller uklarheter rundt metodene, den teoretiske analysen, datagrunnlaget, hvordan det settes i sammenheng med eksisterende forskning, eller andre ting.

Redaksjonen forteller forfatterne hva fagfellene krever, og setter en tidsfrist.

Publisert, ikke fagfellevurdert

Det er dette som mangler i studier som er offentliggjort men (ennå) ikke fagfellevurdert. Det som da har skjedd er at forskerne har offentliggjort materialet de sendte inn til tidsskriftet, før fagfellene vurderte det og avgjorde om det skulle få slippe gjennom nåløyet.

Denne åpenheten er lovlig, og faktisk oppmuntret til, men det er viktig å være klar over at mye sannsynligvis vil endres, også dersom artikkelen skulle komme gjennom fagfellevurderingen i god behold. Det er også derfor mange forskere vegrer seg for å kommentere de offentliggjorte studiene sine når journalistene ringer dem. Fagfellenes vurdering er det avgjørende.

Når endringene er gjort, må forfatterne vise redaksjonen og fagfellene at alle kravene er møtt. Først da vil tidsskriftet forberede artikkelen for publisering. Man finner gode nøkkelord, sjekker alle kildehenvisninger, signerer kontrakter om ansvarsfordeling om noe viser seg å være feil, korrekturleser, og så videre.

Endelig blir artikkelen publisert i et nummer av tidsskriftet.

En enorm vev

Hele prosessen kan ta fra noen måneder til et par år per artikkel, litt avhengig av fagfelt. Hvis ett forskningsprosjekt produserer mer enn én artikkel, må hver enkelt av dem gjennom samme prosess, uavhengig av hverandre.

Hver måned publiseres titusenvis slike artikler i tusenvis av vitenskapelige tidsskrifter på hundrevis av fagområder. Noen behandler små detaljspørsmål, andre analyserer det store bildet.

Sammen utgjør de en enorm vev av sammenhengende argumenter, erkjennelser og tolkninger – en vev vi litt lettvint henviser til hver gang vi sier ordene «forskning viser at...».

Ikke uten svakheter

Prosessen med fagfellevurdering er ikke uten svakheter. Anonymiteten fungerer ikke alltid perfekt, for eksempel, særlig hvis fagfeltet er smalt og ekspertene få. Men per i dag er nok fagfellevurdering det beste alternativet vi har for å sikre at forskningen er nøytral, objektiv, troverdig og nyttig.

Det betyr ikke at artikler, rapporter eller bøker som ikke har vært gjennom en slik prosess nødvendigvis tar feil eller er misvisende. De som har vært med å produsere disse kan godt ha sin faglige integritet i behold.

Rapporter kan være bygget på solid forskning, forfatterne kan ha den beste kompetansen, og formidlingen kan være presis og objektiv.

Klasseforskjell

Men tekster som har vært gjennom fagfellevurdering stiller likevel i en annen klasse. Omstendeligheten betaler seg.

Hvis mange fagfellevurderte publikasjoner peker i samme retning, spiller det liten rolle om en rapport som sier noe annet er av nyere dato, eller er skrevet av dyktige forskere. Den har ikke den samme tyngden.

Den endrer ikke det store bildet i den enorme veven med fagfellevurderte publikasjoner bare fordi den prøver å legge til en tråd med en litt annen fargenyanse.