De twist laait hoog op in het tijdschrift Onderzoek Nederland. Daarin stellen twee wetenschappers dat het CWTS (Centrum voor Wetenschaps- en Technologiestudies) al jarenlang verkeerd bezig is. Een fout zou de uitkomsten van de berekeningen onbetrouwbaar maken. CWTS-directeur Ton van Raan noemt de kritiek “ronduit ridicuul” en schreef een antwoord.
Maar daarin – evenals in een uitgebreider artikel dat hij deze week online heeft gezet – blijkt dat hij ze op een belangrijk punt gelijk geeft. De ‘crown indicator’ van het CWTS gaat op de helling en wordt vervangen door een andere. Daar dachten ze zelf al langer over na, schrijven de CWTS-onderzoekers. Het kan vooral de citatiescore van individuele wetenschappers in sommige gevallen drastisch veranderen.
Hoe berekent het CWTS tot nu toe de impact van wetenschappelijke artikelen? Door te turven hoe vaak andere wetenschappers naar de artikelen verwijzen en dat aantal te vergelijken met het gemiddelde aantal verwijzingen in het vakgebied. Dus als een artikel tien keer wordt geciteerd, terwijl dat bij andere artikelen in dat vakgebied gemiddeld vijftien keer gebeurt, dan scoort het onderzochte artikel onder het wereldgemiddelde.
Tot zover kunnen het CWTS en haar critici elkaar de hand schudden. Maar wat te doen, als je artikelen uit verschillende vakgebieden op één hoop wilt vegen en je de impact van een hele faculteit in één getal wilt vangen? Het CWTS telt dan alle citaten op en neemt daarvan het gemiddelde. Daarna telt het CWTS de gebruikelijke aantallen citaten uit de diverse vakgebieden bij elkaar op en nemen ook daarvan het gemiddelde. Die twee gemiddelden delen zij door elkaar.
Fout, zeggen criticasters Tobias Opthof en Loet Leydesdorff in een artikel. Je moet niet optellen en daarna de gemiddelden delen. Je moet eerst kijken hoeveel impact elk afzonderlijk artikel heeft en daarna de gemiddelde impact berekenen. Dus eerst het aantal citaten per artikel vergelijken met het gemiddelde van het vakgebied en daarna berekenen hoe vaak de artikelen boven- of ondergemiddeld scoren.
Eerder zeiden andere wetenschappers dat ook al, stelt het CWTS. En kennelijk niet geheel ten onrechte. Het CWTS gaat de ‘crown indicator’ aanpassen, omdat de nieuwe berekening ‘consistenter’ is.
Overigens is dit niet de enige kritiek van Opthof en Leydesdorff. Ze hekelen ook de definitie van ‘vakgebied’, waarbinnen het gemiddelde aantal citaten per artikel wordt berekend. Zo’n vakgebied laat zich lastig afbakenen, waardoor volgens hen ook de zeggingskracht van de gemiddelde citatiescore dubieus is. Daarnaast vinden ze het bedenkelijk dat de resultaten van het CWTS normaal gesproken niet repliceerbaar zijn, omdat de data noch de software van het CWTS publiek toegankelijk zijn.
HOP, Bas Belleman
