Om de kwaliteit van het wetenschappelijk onderzoek te bevorderen hebben de universiteiten in 1993 een nieuw stelsel van externe kwaliteitsbeoordeling ingevoerd. Een onafhankelijke visitatiecommissie van internationale deskundigen toetst het onderzoek in een bepaalde discipline aan de hand van de criteria kwaliteit, productiviteit, relevantie en perspectief. De VSNU was benieuwd naar de eerste ervaringen met het stelsel. De vraag was met name wat universiteiten nu met de onderzoeksbeoordelingen doen.
CSHOB-onderzoeker dr. Don Westerheijden evalueerde daarom de eerste vier beoordelingen, te weten die van biologie, geschiedenis, psychologie en werktuigbouwkunde. In zijn rapport, dat onder meer gebaseerd is op gesprekken met betrokken bestuurders, trekt hij de positieve conclusie dat de onderzoeksbeoordelingen een 'solide basis voor beslissingen' vormen. Hij raadt de VSNU dan ook aan om met het stelsel door te gaan.
Objectief
Westerheijden constateert dat de visitatierapporten door zowel onderzoekers als bestuurders intensief worden bestudeerd en als tamelijk objectief worden beschouwd. Vaak bevestigen ze bestaande reputaties. Verder bieden ze het onderzoeksmanagement een handige legitimatie om aan een en ander ook beleidsmatige conclusies te verbinden. Zo leidt het stelsel volgens Westerheijden tot een 'machtsverschuiving' richting bestuurders.
Volgens Westerheijden is het door de bank genomen een goed systeem. Maar zegt het ook iets over de kwaliteit van onderzoek? Westerheijden: 'Ik zou niet voor elke evaluatie afzonderlijk mijn hand in het vuur durven steken, maar wel voor de procedure als geheel: die werkt.' Hij trekt een vergelijking met de eeuwige discussie over de beste regeringsvorm. 'Democratie is misschien niet ideaal, maar wel het minst slechte alternatief.'
De bij de VSNU-beoordelingen gehanteerde 'peer review' is in ieder geval een betere vorm van kwaliteitstoetsing dan een strikt kwantitatieve vergelijking van aantallen citaties of gepubliceerde pagina's. De objectiviteit daarvan is immers schijn, aangezien citaties en publicaties in feite ook via een soort 'peer review' tot stand komen, aldus Westerheijden.
Ook vanuit bestuurlijk standpunt verdient 'peer review' volgens Westerheijden de voorkeur. 'Een beoordeling door vakgenoten wordt in het onderzoeksveld legitiemer bevonden en dan ook eerder geaccepteerd dan een beoordeling door een stel ambtenaren, zoals dat in het Engelse evaluatiesysteem gebeurt. Zelfregulering werkt in het algemeen het best.'
Niet perfect
Dat het commissie-oordeel over onderzoeksgroepen volgens veel wetenschappers vaak aardig spoort met de communis opinio van de collega's bij de koffieautomaat, is iets dat de CSHOB-onderzoeker beaamt. 'Maar een perfecte correlatie is dat nooit. In die zin hebben de critici gelijk die zeggen dat zo'n beoordeling voornamelijk gemaakt wordt voor de beleidsmakers, die harde informatie nodig hebben om hun beslissingen op te baseren.'
Hoe dan ook, Westerheijden erkent dat een beoordeling altijd een subjectieve momentopname blijft. 'De ene commissie is kritischer dan de andere. Je ontkomt er niet aan dat het menselijk oordeel de kern is van elke evaluatie. Maar die subjectiviteit is in dit systeem redelijk ingekaderd. Het is een mooi compromis tussen subjectieve en objectieve toetsing.'
Het feit dat sommige commissies zich beter van hun taak kwijten dan andere houdt volgens Westerheijden overigens vaak verband met de persoon van de commissievoorzitter (veelal een coryfee die de VSNU via een getrapt systeem benoemt op basis van voordrachten door de faculteiten). 'Zo'n voorzitter kan een commissie maken of breken. Want je kunt nog zo'n mooi protocol vaststellen, als de voorzitter de regels niet volgt, gaat het mis.'
Bijsturen
Een onderzoeksbeoordeling heeft weinig zin als er niets mee gebeurt - zoals het geval was met de onderzoekscijfers in het stelsel van voorwaardelijke financiering. Met de beoordelingen wordt nu echter wel degelijk wat gedaan, vindt Westerheijden. Zo klinken ze door in beleidsdiscussies en leiden ze vaak tot concrete maatregelen. In positieve zin: het oprichten van stimuleringsfondsen, het verstrekken van extra subsidie. Of in negatieve zin: het bijsturen of zelfs opheffen van zwakke onderzoeksgroepen.
Wel constateert Westerheijden dat niet alle universiteiten op dezelfde manier met de rapporten omgaan. Soms laat men de conclusies over aan de faculteiten, soms grijpen bestuurders deze harde informatie met VSNU-keurmerk juist gretig aan. 'Er is op onderzoeksvlak natuurlijk lang een gebrek aan min of meer betrouwbare managementinformatie geweest.'
Cruciaal
Verschil maakt volgens Westerheijden of universiteiten onderzoek of onderwijs als het wezen van de identiteit zien. Juist onderzoeksuniversiteiten als Amsterdam en Leiden stellen zich bijzonder pro-actief op. Zo vond Leiden de VSNU niet streng genoeg. Daarom onderwierp men al het Leidse onderzoek ook aan een eigen beoordeling, aldus Westerheijden.
In hoeverre zullen de VSNU-beoordelingen de gemiddelde onderzoekskwaliteit nu daadwerkelijk verbeteren? Westerheijden lacht verontschuldigend. 'Dat is inderdaad de cruciale vraag. Maar voor een antwoord is het nog te vroeg. Dat zullen de komende beoordelingscommissies moeten vaststellen. Maar het CSHOB wil voor dit vraagstuk graag een aio aanstellen', zegt hij.
Hoewel de effecten van het systeem op de werkvloer buiten de scope van de evaluatie vielen, tekenen zich volgens Westerheijden inmiddels wel zorgpunten af. Het systeem bevordert korte-termijnonderzoek met snelle resultaten. De door de visitatiecommissies gehanteerde bibliometrische evaluatiemethoden leiden er immers toe dat publish or perish steeds meer de onontkoombare wet in onderzoekland is geworden. Natuurlijk zullen hierdoor zwakke groepen wel steeds minder in het verborgene kunnen blijven bestaan.
Te grote last
Her en der klinkt de klacht dat er teveel, soms overlappende beoordelingen zijn: behalve de VSNU toetsen immers ook NWO, KNAW en diverse Verkenningscommissies de onderzoekskwaliteit. De VSNU vreest dat dit voor vakgroepen en faculteiten een te grote last betekent. Westerheijden meent echter dat de VSNU-beoordelingen juist worden gewaardeerd omdat zij het gehele onderzoek bestrijken. VSNU, NWO en KNAW hebben inmiddels een studiecommissie ingesteld om het probleem te bestuderen.
Op dit moment worden onderzoek en onderwijs van de faculteiten in afzonderlijke VSNU-procedures beoordeeld. Westerheijden ziet vooralsnog weinig mogelijkheden om deze beoordelingen te integreren. Wel gebeurt dat bij een beperkt aantal unieke 'orchideeën' - zoals de Delftse studies IndustrieelOntwerpen of Lucht- en Ruimtevaart. Komend jaar worden bij wijze van experiment ook de letterenfaculteiten geïntegreerd beoordeeld.
