Scoren in citatietellingen is voor wetenschappers van groot belang aangezien deze als indicatoren gelden op het gebied van wetenschapsbeleid en onderzoeksevaluatie. `Ook verschaffen ze een wetenschapper een bepaald prestige', zegt Dag Aksnes. `Je werk wordt geapprecieerd.'
Aksnes (35) is verbonden aan het Noorse Instituut voor Studies van Onderzoek en Hoger Onderwijs (NIFU STEP) in Oslo en voerde daar ook het grootste deel van zijn onderzoek uit. Hij promoveert echter in Twente bij de faculteit BBT. Professor Arie Rip die contacten met het instituut in Oslo onderhoudt, is zijn promotor.
Dat citaties niet de kwaliteit, maar de impact van een publicatie meten is onder wetenschaponderzoekers een bekend gegeven. Aksnes: `Kwaliteit is een multi-dimensionaal concept. Citaties zeggen vooral veel over de invloed die een bepaald artikel heeft gehad. Daarom kun je nooit op citaties alléén afgaan.'
In zijn proefschrift onderzoekt Aksnes de betrouwbaarheid en de geldigheid van citatie indicatoren. Vooral de scheve verdeling in de indexen intrigeerde hem. `Sommige artikelen worden zéér vaak geciteerd, het merendeel nauwelijks of helemaal niet.' Aksnes richtte zich op data voor Noorwegen. In sommige deelgebieden van de Noorse wetenschap waren vijf artikelen van een totale output van meer dan honderd artikelen verantwoordelijk voor ongeveer de helft van de citaties. Aksnes: `Sommige bijdragen bevatten een belangrijke wetenschappelijke doorbraak die keer op keer geciteerd wordt, andere artikelen vullen de details in en krijgen minder aandacht. Het citatiegemiddelde wordt daardoor uiteraard beïnvloed.'
Die veelgeciteerde artikelen zijn volgens onderzoek van Aksnes vaak afkomstig van een grote groep internationale auteurs. `Artikelen met internationale co-auteurs leveren significant meer citaties op dan artikelen van louter Noorse auteurs. Die grotere impact komt doordat internationale samenwerking een grotere zichtbaarheid oplevert. Maar het kan ook anders liggen: misschien zijn het juist de beste en meest gerespecteerde wetenschappers die veel internationale co-auteurschappen aangaan.'
Zelfcitaties - een wetenschapper die verwijst naar een eerdere publicatie van zijn hand - kunnen de resultaten vertroebelen. `Aan de ene kant is zelfcitatie een acceptabel fenomeen, een auteur verbindt zijn huidige werk aan een vorig onderzoek. Aan de andere kant kan het ook gaan om zelfzucht: auteurs citeren veelvuldig uit eigen werk om zo hun citatiescore te verhogen.' Aksnes vond het hoogste voorkomen van zelfcitaties dan ook bij de minst geciteerde artikelen. `Zelfcitaties zijn een probleem omdat ze niet laten zien wat citaties normaliter laten zien: de impact van een publicatie in de wetenschappelijke wereld. Het vormt vooral een probleem bij de analyse van een beperkt aantal publicaties. Soms worden ze dan ook uit de analyse verwijderd. Bij een hogere verzameling is het effect minder zichtbaar.'
De promovendus nam ook classificatie van wetenschappelijke gebieden onder de loep. `Meestal worden alle artikelen in een bepaald tijdschrift aan hetzelfde deelgebied toegekend', schrijft Aksnes. Hij analyseerde hoe goed een op tijdschriften gebaseerde onderwerpclassificatie de nationale productie in, in dit geval, de microbiologie weergeeft. Wat bleek, slechts 41 procent van de publicaties die experts classificeerden als microbiologie waren terug te vinden onder het etiket microbiologie zoals de National Science Indicators dat hanteert. `De verzameling tijdschriften die het gebied definieerde was dus niet voldoende op dit complexe gebied te omlijnen', concludeert Aksnes.
Hij ondervroeg ook de auteurs zelf en verzocht ze om hun eigen artikelen te evalueren. De uitkomsten vergeleek hij met de scores in citatie rankings. `Over het algemeen was de correspondentie het duidelijkst, en konden citatietellingen dus de bijdrage identificeren, bij majeure dan wel geringe bijdragen', concludeert hij. `Maar op het niveau van individuele artikelen blijkt dat citaties geen betrouwbare indicator zijn van een bijdrage aan de wetenschap.'
Wetenschappers staan ambivalent tegenover citaties, schrijft Aksnes in het laatste hoofdstuk van zijn proefschrift. `Aan de ene kant willen onderzoekers geciteerd worden omdat daarmee reputatie opgebouwd kan worden. Aan de andere kant bekritiseren ze citaties omdat die niet per se de wetenschappelijke kwaliteit reflecteren. Ze signaleren divergenties tussen kwaliteitsdynamieken en zichtbaarheidsdynamieken. Dat citaties worden gebruikt om onderzoek te evalueren legt alleen maar meer druk op die ambivalentie.'
Aksnes concludeert uiteindelijk dat citatietellingen zeker waarde hebben als het gaat om het meten van de invloed van een bepaalde publicatie. `Maar gezien de beperkingen, kunnen ze het beste als aanvulling op peer review worden gebruikt.'
Dag Aksnes: `Citaties moeten altijd in combinatie met peer review gebruikt worden.'
