De toetsresultaten van ruim 224.000 leerlingen, verspreid over 42 landen binnen en buiten de Oeso moesten ze analyseren. In december 2003 begonnen de O&M-onderzoekers Hans Luyten, Jaap Scheerens, Adrie Visscher, Ralf Maslowski, Bob Witziers en Rien Steen aan het bewerken van de enorme stroom gegevens en april rolde hun rapport van de drukpersen.
`Het was keihard werken' verzuchten de co-auteurs Luyten en Visscher op hun werkkamer in Cubicus. Voor hen ligt het glossy Oeso-boekwerkje `School factors related to quality and equity' en daarnaast de aanvullende, op Nederland toegespitste analyse. Rijk zijn ze er niet van geworden: een tonnetje of drie bracht de klus al met al op. Maar prestigieus was de opdracht wél. `Er zijn veel collega's die dit onderzoek graag hadden gedaan', zegt Adrie Visscher, `dus de Oeso kan veel eisen voor weinig geld.'
De Oeso verzamelt om de drie jaar gegevens over de kennis en vaardigheden van 15-jarige leerlingen. Vooral hun kennis - en het vermogen om die toe te passen - in de disciplines wiskunde, begrijpend en studerend lezen en natuurwetenschappen wordt gemeten. Die gegevens, verkregen door het afnemen van toetsen bij tienduizenden leerlingen in dertig Oeso-lidstaten en nog eens tienduizenden bij een dozijn niet-Oeso-landen, belanden in de database van het Programme for International Student Assessment (Pisa).
Dataset
De GW-onderzoekers kregen de opdracht om aan de hand van de gegevens uit 2000 te onderzoeken welke invloed onderwijssystemen en schoolkenmerken hebben op de prestatie van leerlingen. Visscher: `Bijvoorbeeld: zijn de leerlingprestaties beter op een school die beter gemanaged wordt? Een schoolsysteem waarin leerlingen al vroeg op een bepaald type middelbare school belanden, is dat beter voor de leerlingprestaties? En welke invloed heeft de sociaal-economische status van de ouders op het niveau van de leerlingen?'
`Het leuke is', vult Luyten aan, `dat we in onze afdeling al veel onderzoek doen naar de schoolfactoren die in Nederland de prestaties beïnvloeden. Nu hebben we kunnen werken met een veel grotere dataset en konden we kijken naar de wetmatigheden in 42 landen. Dit onderzoek is nog nooit op zo'n grote schaal uitgevoerd.'
Een van de belangrijkste uitkomsten van het grootscheepse onderzoek is dat het gemiddelde beroeps- en opleidingsniveau van de ouders van de leerlingen op een school een belangrijke invloed heeft op de prestaties van de scholen. Luyten: `Kinderen van hoogopgeleide ouders presteren beter. En als er meer kinderen van hoog opgeleide ouders op een school zitten dan zijn de prestaties beter.'
Visscher: `We hadden natuurlijk liever gezien dat onderwijskundige aspecten meer invloed hebben op de prestaties van leerlingen, in plaats van hun sociaal-economische achtergrond. Maar dat is dus niet zo.'
Opvallend - maar voor de onderzoekers evenmin verrassend - is dat goed schoolmanagement buitengewoon weinig invloed heeft op de prestaties van leerlingen. Visscher: `We hebben vaak onze mond vol over managementkwaliteiten, leiderschap, de kwaliteiten van een onderwijsteam, maar dat deed er hier allemaal niet zo veel toe.' Luyten: `Althans, met een beter management kun je geen wonderen verrichten als het gaat om leerprestaties. Maar met slecht management kun je de boel natuurlijk wel in de soep laten lopen.'
Kritisch
De conclusies van hun onderzoek tekenden zich vorig jaar zomer al in grote lijnen af. Maar daarna volgde nog een nauwkeurige afstemmingsoperatie met de interne Oeso-deskundigen. `Die zijn kritisch, heel kritisch. We hebben heel wat vragen moeten beantwoorden over methoden en berekeningen,' zegt Hans Luyten. En er werd wel eens gestoeid over de presentatie van resultaten. `De Oeso wilde bijvoorbeeld erg graag laten zien dat scholen met een autonomere status ook betere leerlingprestaties lieten zien. Dat is ook wel zo, maar alleen als je de cijfers niet corrigeert voor de sociaal-economische achtergronden van de leerlingen. Als je dat effect eruit haalt, is het verschil nagenoeg nul. Toch wilde de Oeso graag de eerste presentatie opnemen. Dat kwam hen beter uit.'
De Nederlandse 15-jarige scholieren scoren trouwens goed in het onderzoek. `Dat is meestal zo in dit soort onderzoeken', stelt Adrie Visscher vast. `Het gekke is alleen dat die resultaten meestal worden weggemoffeld. Of de officiële reactie luidt: `Het gaat nu nog wel goed, maar we moeten wel oppassen.'
Inmiddels is er bij de Oeso alweer een nieuwe stroom Pisa-data binnen van de leerlingentoetsen die in 2003 zijn afgenomen. Maar een vervolgopdracht voor de GW'ers zit er niet in. `De Oeso gaat het nu zelf doen,' zegt Hans Luyten. `De basisgegevens die de toetsen uit 2003 hebben opgeleverd staan nu al op hun website, onder de titel `Learning for tomorrow's world'. De nadere analyse moet nog plaatsvinden, maar je ziet in hun manier van presenteren al wel dat ze een aantal dingen uit ons werk hebben overgenomen. Ze weten nu hoe het moet', constateert hij grijnzend.
Maar een paar leuke voorstellen voor andere onderzoeken heeft de club van Luyten en Visscher al wel ingediend. Hun voet tussen de Oeso-deur halen ze niet zomaar weer weg.
Het volledige Oeso-rapport is te vinden op www.pisa.oecd.org
De Oeso-onderzoekers van de GW-afdeling onderwijsorganisatie en -management (van links naar rechts): Jaap Scheerens, Adrie Visscher, Carola Groeneweg (secretaresse), Bob Witziers (zittend), daarachter Rien Steen en Ralf Maslowski. Niet op de foto: Hans Luyten. (Foto: Arjan Reef)
