De rechtbank in Den Haag oordeelde op 29 januari dat lokale overheden niet langer gebruik mogen maken van Systeem Risico Indicatie (SyRi). Dit systeem verzamelt gegevens van onschuldige burgers en maakt op onnavolgbare wijze een weging waar mogelijke fraudeurs uitrollen. Misschien efficiënt, maar niet transparant en bovendien strijdig met de privacywetgeving. Hoe de mensheid zich verhoudt tot dit soort systemen is waar Beerends zich mee bezighoudt.
Wat is jouw drijfveer als wetenschapper?
‘Nieuwsgierigheid en mijn verbeeldingskracht over een betere wereld, want ik ben niet optimistisch over hoe mensen omgaan met de toestand van onze planeet. Ik vind het belangrijk om kritische vragen te stellen, om tegen de stroom in te gaan en om verschillen tussen mensen te behouden. Dat hebben we nodig om betere toekomsten te kunnen verbeelden en daarnaar te handelen.’
‘Rond mijn dertiende zag ik de film “The Truman Show”. Ik kon me meteen identificeren met de hoofdpersoon, want ik vond de wereld om me heen vroeger vaak heel nep en kunstmatig overkomen. Truman zat in een omgeving waarin de mensen met macht alles konden sturen. Als Truman opeens keihard ging autorijden in het kunstmatige landschap, dreigde hij tegen het decor van zijn wereld aan te rijden, waarop alle systemen begonnen te werken om hem weer in het stramien te krijgen. Zo kijk ik ook naar algoritmes. Je wordt de hele tijd in een keurslijf gepropt van zo’n datamodel.’
Wat heeft dat met je promotieonderzoek te maken?
‘Mijn promotieonderzoek is in september gestart. Het gaat over de vraag of mensen en machines onder invloed van kunstmatige intelligentie meer op elkaar gaan lijken. Robots vermenselijken al, maar gaan mensen ook meer op robots lijken? We begrijpen onszelf aan de hand van de dominante technologie van het tijdperk waarin we leven, nu de computer. We praten over het “verwerken” en “opslaan” van dingen in ons hoofd en we “laden op”. Om een partner te vinden gebruiken we computerberekeningen in plaats van onze zintuigen. En we zitten de hele dag aan ons scherm vastgelijmd. Dat we de wereld via een scherm “processen”, zie ik als een vorm van “computerization”.’
‘Het meest letterlijke voorbeeld tot nu toe zag ik in de documentaire “Follow me”. Voor een paar euro koop je honderd likes of “comments” voor Instagram, gemaakt door echte mensen zodat Instagrams algoritme ze er niet uitfiltert. Er zijn dus mensen die reacties schrijven voor geld. Zij zijn letterlijk een verlengstuk van een algoritme.’
Wat is het risico van onze omgang met computers?
‘Of het nou gaat over armoede, daklozen of kindermishandeling, de gedachte heerst dat als we er maar grof data tegenaan smijten, we sociaaleconomische problemen kunnen voorspellen en controleren. Onderzoek van Virginia Eubanks toont aan dat deze focus op data juist afleidt van de oorzaken achter armoede, omdat we denken dat we klaar zijn zodra we armoede met big data in beeld hebben.’
‘In het Westen zijn we enorm op data gefixeerd. Als jij wilt investeren in “iets met big data”, krijg je makkelijk geld. Als je in mensen wilt investeren, zeggen we: “Nee, mensen zijn onbetrouwbaar en te ingewikkeld.” Maar de computer wordt enorm overschat, en de mens onderschat. Dat is mijn terugkerende conclusie.’
De rechtbank in Den Haag heeft gemeentes inmiddels verboden om nog langer gebruik te maken van SyRi vanwege de discriminerende effecten. Hoe kan het dat gemeentes zo ver zijn gegaan?
‘Gemeentes laten zich volledig in de luren leggen door bedrijven met mooie producten en grote beloftes, maar kijken niet kritisch naar wat ze in huis halen. Ambtenaren begrijpen de computerlogica helemaal niet. Er rolt een beslissing uit het algoritme, “deze persoon krijgt geen toeslag meer”, en ambtenaren moeten maar vertrouwen dat de uitkomst klopt. Waarom iemand geen toeslag meer krijgt, weten ze zelf ook niet. Ze zijn blind overgeleverd aan het algoritme. Ik vind dat mensen recht hebben op besluiten die genomen zijn op basis van mensenlogica.’
Eén van jouw kritieken is dat deze systemen discrimineren. Maar mensen oordelen toch ook op basis van vooringenomenheid?
‘Ja, die hoor ik vaker. Neem de selectie van sollicitanten. Het hoofd van de werkgever die iemand kiest, is ook een soort “black box”. Maar de mens heeft een organische manier van dingen doen. Je kunt mensen aftasten, vragen stellen en met hen in gesprek gaan. Ik denk dat het gevaarlijk is om de subjectiviteit van de mens als een probleem te zien dat moet worden opgelost, en te denken dat een computer objectief is.’
‘Ik vind het te makkelijk om te zeggen: we zetten er een systeem op en dan kunnen we zelf lekker in onze bubbel blijven zitten. Waarom zouden we niet proberen om onszelf te ontwikkelen in onze manieren van onderscheid maken? Waarom alleen investeren in machine learning, en niet in human learning?’
Wat houdt jouw systeem draaiende?
‘Ik wil datawijsheid overbrengen aan de mensen waar dit over gaat, en niet alleen aan technerds op de universiteiten. Bij SETUP (platform voor technologie-kritische samenleving, red.) heb ik meegewerkt aan Paaltje, de klaagrobot in buurthuizen waarmee burgers met één druk op de knop kunnen klagen bij de gemeente. Een koekje van eigen deeg als antwoord op de overheid die maar door ‘algoritmiseert’. Daarna kreeg SETUP een uitnodiging om de Tweede Kamer te adviseren over digitalisering. We worden gehoord.’
Hoe ga je zelf om met een wereld vol algoritmes?
‘Algoritmes zijn niet verkeerd, het ligt eraan hoe ze zijn gemaakt, in welke context we beslissingen aan ze uitbesteden en hoe we kijken naar de aard en waarde van deze systemen. Ik ken mijn partner van de datingapp Paiq. Ik moest eerst honderd vragen invullen, daarna ging het datingalgoritme met matches aan de slag. Uiteindelijk heb ik mijn intuïtieve vermogens in het daten moeten leggen. Ik ging meteen in gesprek om te achterhalen of hij een beetje kon nadenken over de wereld. En hoe meer we praatten, hoe duidelijker zijn foto werd. Een interessant voorbeeld eigenlijk, waarbij de mens een groot deel zelf moet doen en niet volledig ondergeschikt is aan een systeem.’
‘Algoritmes zijn het sterkst als ze aanvullend zijn aan ons. Ik ben voorstander van een complementaire samenwerking tussen mensen en machines. Maar om dat voor elkaar te krijgen zullen we wel eerst onze eigen intelligentie en capaciteiten moeten begrijpen. Als we zelf op computers gaan lijken, valt er weinig complementair meer samen te werken.’
