Veel onderzoekers doen regelmatig een beursaanvraag bij de Nederlandse Organisatie voor Wetenschappelijk Onderzoek. Om te bepalen welke aanvragen worden gehonoreerd vertrouwt de jury op het oordeel van deskundigen uit binnen- en buitenland.
Vorig jaar bepaalde NWO al dat deze deskundigen geen generatieve AI mogen gebruiken bij de beoordeling van subsidieaanvragen. Door die te uploaden naar een AI-programma zouden ze hun geheimhoudingsplicht schenden, en ook op de betrouwbaarheid van een AI-oordeel valt het nodige af te dingen.
Verborgen prompts
In een vernieuwde richtlijn heeft NWO de regels verder aangescherpt. Daarin staat nu dat beoordelaars in het systeem formeel moeten bevestigen dat zij geen AI hebben gebruikt. Maar of ze dat ook echt niet doen is de vraag. NWO krijgt jaarlijks duizenden aanvragen binnen, en de beoordelaars – vaak zelf onderzoekers – hebben het druk.
In de nieuwe richtlijn staat nu ook dat aanvragers geen ‘verborgen prompts’ in hun tekst mogen verwerken. Vorig jaar bleek dat wetenschappers uit onder meer Japan en Zuid-Korea in hun papers speciaal voor AI-bots verborgen opdrachten zetten, zodat reviewers die AI gebruikten er een positief oordeel over zouden geven.
Die opdrachten staan in de papers als witte tekst op een witte achtergrond of in een heel klein lettertype, waardoor ‘gewone’ lezers ze niet kunnen zien. Uit tests bleek dat verschillende chatbots daadwerkelijk positiever waren over papers met zo’n verborgen prompt.
Overbodig?
De aanscherping van NWO lijkt op het eerste gezicht overbodig, want als beoordelaars geen AI gebruiken, dan hebben de verborgen prompts geen enkel effect. Een woordvoerder van NWO laat echter weten dat niet valt uit te sluiten dat een externe beoordelaar alsnog een AI-tool gebruikt.
En hoewel AI op dit moment niet in het beoordelingsproces gebruikt mag worden “zou dat in de toekomst wel een ontwikkeling kunnen zijn waar NWO mee aan de slag gaat”.
Goedgekeurde tools
Buiten het beoordelingsproces mogen medewerkers van NWO overigens wel gebruikmaken van AI, maar alleen als de tool is goedgekeurd. Vorig jaar werd alleen de vertaalapplicatie DeepL toegestaan. Inmiddels is ook Microsoft Copilot Chat veilig verklaard. Tools als ChatGPT en Perplexity blijven uitgesloten.
AI-controlesoftware die zou kunnen detecteren of AI ergens in het proces is gebruikt, is volgens NWO niet betrouwbaar en wordt daarom ook niet ingezet.
