Siterer: Det amerikanske selskapet Thomson ISI registrerer hvert år nærmere én million artikler i 8600 tidsskrifter. (Foto: Bjørn Rørslett / NN / Samfoto)

Bruk av publiserings- og siteringsdata for å vurdere forskningsproduksjon er blitt stadig mer vanlig internasjonalt, og blir nå i økende grad diskutert også av norske forskere.

Utgangspunktet er det amerikanske selskapet Thomson ISI (se faktaboks), som indekserer rundt 8600 vitenskapelige tidsskrifter i sin database som bl.a. omfatter Science Citation Index (SCI). Disse tidsskriftene inneholder nærmere én million vitenskapelige tidsskriftartikler årlig, som i sin tur refererer til over 20 millioner andre artikler. – Dette forteller noe om den enorme kunnskapsproduksjonen som foregår rundt om i verden, sier forsker Dag W. Aksnes ved NIFU STEP.

Dag W. Aksnes (Foto: Bjarne Røsjø)

Men ISI registrerer slett ikke all forskning, og gir heller ikke et feilfritt bilde av den forskningen som vitterlig blir registrert. – Det er først og fremst medisin og realfag som har mange indekseringer og siteringer, og det har sammenheng med at databasen primært bare omfatter vitenskapelige tidsskrifter. I for eksempel samfunnsvitenskap og humaniora er det mer vanlig å publisere i bøker. ISI registrerer heller ikke for eksempel nasjonale publiseringer, påpeker Aksnes.

Kaldt vann i blodet

Aksnes, som er Norges fremste siteringsekspert, la tidligere i år fram en doktoravhandling ved Universitetet i Twente i Nederland om bruken av siteringer som indikator i forskningspolitikk. – Jeg vil gjerne helle kaldt vann i blodet på dem som måtte mene at evaluering av forskning kan automatiseres ved hjelp av siteringer eller annen statistikk, for dette bør ikke erstatte de tradisjonelle fagfellevurderingene. Samtidig vet vi at også fagfellevurderinger kan ha sine svakheter. De beste vurderingene av kvalitet i forskningen bør derfor bygge på både fagfellevurderinger og siteringsanalyser.

Det er først og fremst medisin og realfag som har mange indekseringer og siteringer

Fagfellevurderinger bør forbli den dominerende metoden, men vi kan bruke siteringer til å rette opp skjevheter eller mangelfulle vurderinger, mener Aksnes. Han tilføyer at siteringsanalyser og fagfellevurderinger ofte kan gi mer eller mindre sammenfallende resultater. – Det viser seg at det er en positiv og signifikant korrelasjon mellom siteringsanalyser og fagfellevurderinger. Vi ser også at nobelprisvinnere, som for eksempel Finn Kydland, generelt er mye sitert. Men korrelasjonen mellom fagfellevurderinger og publiseringsmålinger er langt fra perfekt, sier han.

Økende interesse

Aksnes har inntrykk av at norske forskere er blitt mer opptatt av siteringer og publiseringer de siste årene. Men de er nok enda mer opptatt av tidsskriftenes gjennomslagskraft eller såkalte impact factor, som sier noe om tidsskriftenes siteringshyppighet.

Det er nokså vanlig å tro at en forsker som vil bli mye sitert, bør jobbe innenfor et stort fagområde. – I et stort fagområde produseres det mange siteringer, men det produseres også tilsvarende mange artikler, og dermed blir den gjennomsnittlige siteringshyppigheten ikke påvirket. Men muligheten for å oppnå ekstremt mange siteringer øker nok med fagområdets størrelse, sier Aksnes.

NIFU STEP er for øvrig ikke veldig opptatt av å se på absolutte siteringstall, men bruker isteden indikatorer hvor en sitert artikkel sammenliknes med gjennomsnittet innen fagfeltet. På den måten kan en samfunnsvitenskapelig artikkel med et moderat antall absolutte siteringer, komme godt ut sammenliknet med en realfagartikkel med høyt siteringstall.

Et verdifullt verktøy

– De som vil bruke siteringstall og publiseringsindikatorer til evaluering av forskning, bør være klar over en rekke svakheter, understreker Aksnes. – Det kan forekomme både feilstavelser og trykkfeil og andre typer feil på artikkelnivå, men den slags er tross alt av mindre betydning på makronivået. Det er verre hvis dataene blir brukt – eller misbrukt – uten at man tar hensyn til metodens generelle begrensninger og problemer, sier han.

Det er
også vanlig
at forskere
siterer seg selv.

Hvis man for eksempel bare lager en liste over de mest siterte forskerne, vil denne nesten utelukkende bestå av biomedisinere. Det skyldes at siteringshyppigheten i dette fagområdet er høyere enn i mange andre fagområder. En annen ting er at det kan være urimelig å fokusere på enkeltindivider, siden det normalt er forskergrupper som står bak artiklene.

– De fleste vitenskapelige artikler blir lite sitert eller ikke sitert i det hele tatt, mens noen få oppnår et ekstremt høyt antall siteringer. Dette skyldes både kognitive og sosiologiske mekanismer som f.eks. den såkalte Matteus-effekten, som går ut på at «Den som har mye, skal få mer». En artikkel som først er blitt hyppig sitert, har en tendens til å bli sitert enda mer, forklarer Aksnes.

Flere svakheter

En annen svakhet ligger i at det er forholdsvis vanlig å sitere oversiktsartikler (reviews), mens de originale arbeidene som lå til grunn for oversikten, dermed ikke blir kreditert. – Det er også vanlig at forskere siterer seg selv, og det er naturligvis tatt i betraktning at de fleste forskere nødvendigvis må bygge videre på egen kunnskap. Men det forekommer mange eksempler på overdreven bruk av selvsiteringer, påpeker Aksnes. Slike faktorer gjør at siteringer ikke er et entydig og uproblematisk mål på vitenskapelig innflytelse.

Det forekommer også at forskergrupper deler opp resultatene av et forskningsprosjekt og publiserer flere mindre artikler, eller presenterer liknende artikler i flere tidsskrifter, for å få opp publiseringstallet. Det kan også konstrueres mer eller mindre fiktive samforfatterskap for å øke den enkelte forskerens publiseringsliste, og så videre.

– Men alt i alt kan siteringer og bibliometriske analyser være et nyttig og verdifullt verktøy. De er imidlertid først og fremst egnet til å si noe om makrotrekk ved forskningssystemet, slik som for eksempel kunnskapsstrømmene over landegrenser og utviklingen innen nasjonale forskningssystemer, mener Aksnes.