Hoe objectief zijn de beoordelaars van artikelen voor wetenschappelijke tijdschriften? Een Britse econoom heeft een nieuwe manier bedacht om dat te meten en ontdekte een opmerkelijke bias.
Meestal richten onderzoekers van vooroordelen in de beoordeling van wetenschappelijk werk zich op de verliezers: worden vrouwen vaker afgewezen dan mannen, maken onderzoekers van een kleine universiteit minder kans dan hun collega's van Harvard, heeft leeftijd invloed op de plaatsingskans, enzovoorts. Andrew J. Oswald (University of Warwick en Cornell University) pakt het anders aan. Hij bekijkt alleen de winnaars, die al door de peer review van een tijdschrift heen zijn gekomen.
In wetenschappelijke tijdschriften, redeneert hij, staan de bijdragen grofweg in volgorde van belangrijkheid: de artikelen die volgens de redacteuren het best zijn, staan vooraan. Die bijdragen zouden daarom de meeste citaties moeten scoren. Als een redactie bijvoorbeeld vrouwen onderwaardeert, zou dat moeten blijken uit een vergelijking van hun citatiescores met hun positie in het blad.
De methode heeft enkele voordelen. Zo worden bepaalde tijdschriften vaker geciteerd dan andere, maar dit onderzoek kijkt binnen de kaft van één tijdschrift en heeft geen last van dat effect. Ook hebben de onderzoekers al bewezen goed genoeg te zijn voor plaatsing en kan de discriminatie niet of nauwelijks aan hun wetenschappelijke niveau liggen.
Daar staat wel één belangrijk nadeel tegenover. Dit onderzoek werkt met kleine hoeveelheden data: Oswald moet naar decennialange perioden kijken, terwijl in die tijd van alles kan veranderen.
Toegepast op twee Amerikaanse tijdschriften voor economie kon Oswald geen significante discriminatie vinden tegen auteurs van buiten de Verenigde Staten. Maar auteurs uit de eigen omgeving zijn minder goed af. Eén van de twee bladen wordt uitgegeven in Chicago en blijkt hogere eisen te stellen aan geleerden uit het eigen postcodegebied.
De website Inside Higher Ed (http://insidehighered.com/news/2008/09/15/biastest)
maakte melding van de methode en in de lezersreacties wijst een criticus op het kip-of-ei-probleem: krijgen de artikelen meer citaties omdat ze vooraan staan in het tijdschrift, of zijn ze van hogere kwaliteit en komen ze daarom vooraan in het tijdschrift terecht? En hoe zit het met elektronische publicaties?
http://www.ilr.cornell.edu/cheri/workingPapers/upload/cheri_wp114.pdf
