Wetenschap klinkt soms zo simpel. Je gooit twee stoffen bij elkaar en de reageerbuis ontploft. Je geeft een matroos vitamine C en hij krijgt geen scheurbuik. Hoe vaak je het ook probeert, de uitkomst is steeds hetzelfde.
Maar zo werkt het niet altijd. Wetenschappelijk onderzoek geeft soms andere resultaten als je het herhaalt. En vaak kún je het niet eens herhalen. Wie checkt onze wetenschappelijke kennis en vooral: vált die eigenlijk wel te checken?
In 2023 is er een netwerk opgericht dat zich op de ‘herhaalbaarheid’ van wetenschappelijk onderzoek richt. Het begon in Groningen; inmiddels zijn bijna alle Nederlandse universiteiten erbij betrokken.
Het is het begin van een cultuuromslag, hopen oprichter Michiel de Boer (universitair hoofddocent epidemiologie in Groningen) en coördinator Daniela Gawehns (promovendus data science in Leiden).
Waarom valt wetenschappelijk onderzoek vaak moeilijk te herhalen?
De Boer: ‘Als wetenschapper zou je je aanpak zo helder mogelijk moeten beschrijven. Zo hebben we het allemaal ook geleerd: iemand anders moet in principe jouw onderzoek na kunnen doen. Maar dat kan dus minder vaak dan je zou willen.’
Het probleem zit soms al in de omschrijving van de methode, legt hij uit. Als je niet precies weet hoe het onderzoek verliep, dan kun je het ook niet goed opnieuw doen. Vaak ontbreekt er informatie.
De Boer: ‘Tijdschriften hanteren vaak een woordlimiet bij publicaties, zodat je nooit helemaal kunt vertellen wat je hebt gedaan. En soms stellen onderzoekers hun data of de gebruikte vragenlijsten gewoon niet beschikbaar.’
Een deel kun je wél opnieuw uitvoeren. Krijg je dan dezelfde uitkomst?
Lang niet altijd, zegt De Boer: ‘Uit replicatieonderzoek blijkt dat minder dan de helft van de herhaalde studies dezelfde resultaten oplevert.’ Maar het gaat meestal om een beperkt aantal replicaties in een bepaalde discipline. Voor de breedte van de wetenschap kan hij het niet zeggen.
De Boer: ‘Dat het zo slecht ging, was voor mij wel een eyeopener.’ De gevonden effecten zijn veelal ook minder sterk dan in het oorspronkelijke onderzoek. Het gaat zo moeizaam dat er wordt gesproken van een replicatiecrisis.
Moet je elk onderzoek opnieuw kunnen uitvoeren?
‘Het is in elk geval belangrijk om transparant te zijn. Deel niet alleen je methode en data, maar bijvoorbeeld ook je analysetechnieken. De herhaalbaarheid zal nooit 100 procent worden, maar hoger dan 50 procent moet lukken. Laten we zeggen 80 of 90 procent. Het is misschien mede afhankelijk van de discipline en de context van het onderzoek.’
Gawehns: ‘Het ligt deels ook aan je definitie van succesvolle replicatie. Je zult nooit helemaal dezelfde uitkomst krijgen, want er zit altijd ruis in je onderzoek. Is de replicatie pas succesvol als je dezelfde p-waarde bereikt of hoeft het gevonden effect alleen maar in dezelfde richting te wijzen? Dat laatste is wel makkelijker. In sommige disciplines kun je zeggen: bij replicatie moet het grafiekje er redelijk hetzelfde uitzien.’
Wat is het gevaar als studies echt niet repliceerbaar blijken?
Gawehns: ‘Er was bijvoorbeeld veelbelovend onderzoek gedaan naar medicijnen tegen dementie. Daar gingen miljoenen euro’s naartoe. Maar het onderzoek bleek frauduleus, dus het was niet te reproduceren. Dan is het echt zonde van het geld.’
De Boer: ‘Wetenschap zou cumulatief moeten zijn: je bouwt op elkaars inzicht voort. Maar als de basis niet klopt, dan heb je een probleem. Soms duurt het best lang voordat het duidelijk wordt dat we de verkeerde richting opgaan. En veel onderzoek wordt betaald met belastinggeld.’
Wanneer raakt dit het dagelijks leven?
De Boer: ‘Vooral in de medische hoek kan het echt kwaad als de werking van nieuwe medicijnen niet reproduceerbaar blijkt of als ze zelfs negatieve effecten hebben. In de coronacrisis leek hydroxychloroquine even een goed medicijn, maar het onderzoek rammelde. Het deed meer kwaad dan goed. Details waren weggelaten en het was niet duidelijk waar de data vandaan kwamen.’
En daarom moet er meer aandacht voor replicatie komen?
De Boer: ‘Het is een stukje van de puzzel. Het is natuurlijk niet het enige wat telt in de wetenschap. Soms kun je de resultaten uit slecht onderzoek misschien wel repliceren, maar dan heb je gewoon twee keer slecht onderzoek.’
Merken jullie dat het onderwerp meer aandacht krijgt?
Gawehns: ‘Op papier staat iedereen wel achter ons. En we zien ook initiatieven binnen instituten en onderzoeksgroepen. Denk aan promovendi die elkaars onderzoek gaan reproduceren. Maar hoe zorgen we dat al die kleine projecten en goede voornemens ertoe leiden dat reproduceerbaarheid in ons dagelijks werk terechtkomt?’
Speelt het bijvoorbeeld een rol als je een onderzoeksbeurs aanvraagt?
De Boer: ‘Er is wel enige aandacht, maar het systeem is zeker niet perfect. Als je bij onderzoeksfinancier NWO een voorstel indient, dan moet je vaak wel iets zeggen over open science: hoe zorg je ervoor dat andere onderzoekers toegang krijgen tot jouw data? Dat hangt samen met de reproduceerbaarheid van onderzoek. Maar daar besteed je tien, vijftien regels aan en dan is het meestal wel oké. Degenen die jouw onderzoeksvoorstel beoordelen, kijken vooral of ze het voorstel interessant vinden. Bovendien gebeurt dit allemaal alleen vooraf. Er is weinig monitoring als het project eenmaal loopt. Dat is wel problematisch.’
Is extra controle dan de oplossing?
De Boer: ‘De universiteiten kunnen in elk geval iets meer doen. In beleidsstukken staan vaak wel goede dingen, maar in de organisatie wordt er nog niet of nauwelijks op gestuurd. Dan ben je dus afhankelijk van de intrinsieke motivatie van onderzoekers om het goed te doen. Wij zien wel pockets of excellence, zoals wij ze noemen, maar buiten zo’n een afdeling gebeurt er dan helemaal niks.’
Hangt het ook niet een beetje van de discipline af? Ik kan me voorstellen dat dit onderwerp meer te maken heeft met kwantitatief onderzoek dan met pakweg de historische letterkunde.
De Boer: ‘Toch is het een van onze speerpunten: reproduceerbaarheid voor de niet-kwantitatieve onderzoeksdisciplines. Ik ken twee historici die inderdaad replicatiestudies doen met hun studenten. Dan gaan ze na hoe iemand precies te werk is gegaan. Zijn de voetnoten genoeg om te herleiden hoe mensen te werk zijn gegaan? Is hun aanpak transparant genoeg? Dat levert goede discussies op.’
Er komt een nieuw kabinet. Wat verwachten jullie van de politiek?
De Boer: ‘De werkdruk is voor ons een belangrijk onderwerp. Een van de dingen die onderzoekers ervan weerhoudt om voldoende transparant te werken, is dat het tijd kost. In ieder geval is dat de perceptie. Het helpt natuurlijk als er een beetje lucht in het systeem zit. Dat gezegd hebbende zijn er ook dingen die we zelf kunnen doen in de wetenschap.’
Wat kan de wetenschap dan zelf doen?
De Boer: ‘We zouden misschien wat minder kunnen publiceren. Nu worden wetenschappers toch vaak afgerekend op hun publicatielijst, maar een deel van de artikelen is gewoon niet zo waardevol. We kunnen best wat selectiever zijn en dan houden we tijd over om zorgvuldiger te werken. Ook dat inzicht begint langzaam door te dringen.’
