Je koopt een treinkaartje bij de automaat, maar in plaats van het touchscreen te gebruiken, praat je tegen een virtueel karakter. `Ik wil graag een kaartje naar Amsterdam via Arnhem.' Door instemmend te knikken geeft het `mannetje' van de automaat aan dat hij je heeft begrepen. Hij kan zelfs relevante vragen stellen, bijvoorbeeld of je een kortingskaart hebt.
Volgens promovendus Mark ter Maat (26) is een dergelijke kaartjesautomaat technisch al mogelijk. Het wachten is op bedrijven die geïnteresseerd zijn om de technologie op de markt te brengen. Ter Maat doet in de vakgroep Human Media Interaction van instituut ctit onderzoek naar een zogenaamde Sensitive Artificial Listener, een dialoogsysteem waarin een virtueel persoon in staat is een zo natuurlijk mogelijk gesprek te voeren.
`We ontwikkelen een virtueel mannetje dat niet alleen kan praten, maar ook lacht, knikt, gezichtsuitdrukkingen heeft, en de gesprekspartner motiveert om door te gaan', legt Ter Maat uit. `We richten ons op luistergedrag: knikjes, glimlachjes, uhuh's, allemaal korte signalen die aangeven dat je begrijpt wat de ander zegt. Onze luisterfiguur kan zonder op de inhoud te letten toch met zinnige bijdragen een gesprek gaande houden.'
Onlangs ontwierp de vakgroep HMI een virtueel karakter voor het nog te bouwen Nationaal Historisch Museum in Arnhem. Bezoekers kunnen daar straks aan het meisje met de parel - van het schilderij van Johannes Vermeer - vragen stellen over de tijd waarin zij leefde. `Zij leidt je als een gids door de zeventiende eeuw. Zo leer je op een interactieve manier over de geschiedenis', aldus de promovendus.
Een andere toepassing voor de virtuele luisteraar is bijvoorbeeld een gids in een museum. Je vraagt naar een bepaald deel van de collectie en een virtueel karakter wijst je de weg.
`In het begin is het voor mensen wennen om met een virtuele gesprekspartner te communiceren', weet Ter Maat. `Ze zijn het niet gewend om tegen computers te praten en weten ook niet hoe ze ermee om moeten gaan. Ze moeten even over een drempel heen en dan zien ze dat het best handig kan zijn.'
`Het systeem snapt niet wat je zegt, maar luistert wel. De uitdaging is om de juiste reactie te geven of een wedervraag te stellen', vervolgt Ter Maat. `Een camera registreert hoe je beweegt, wat voor gezichtsuitdrukking je hebt en of je blij, boos of depressief bent. Daarnaast werken we met keyword spotting. Aan de hand van kernwoorden kan de virtuele luisteraar afleiden waar de spreker het over heeft.'
De grootste uitdaging ligt volgens de HMI-onderzoeker in het analyseren van het menselijk gedrag. `Een gezichtsuitdrukking aannemen, daar is wel een technische oplossing voor. Maar het doorgronden van het gedrag van mensen en begrijpen wat hun lichaamstaal zegt, is lastig.'
In het project werkt de UT samen met verschillende Europese partners. Dit psychologische deel van het onderzoek wordt bijvoorbeeld door Queen's University in Belfast gedaan.
Ter Maat zelf is verantwoordelijk voor het dialoogsysteem. `Ik krijg binnen wat de gebruiker zegt en welke bewegingen hij maakt. Met die data leer ik het karakter hoe die moet reageren. Ik stuur als het ware de virtuele hersenen aan. Stel: ik krijg een knikje binnen. Dan moet mijn systeem kunnen beslissen wat dat betekent. Is dat bijvoorbeeld `mee eens' of `ik begrijp het, ga door'. De virtuele luisteraar leert dat door de context te vergelijken met een grote hoeveelheid data uit gesprekken van mens tot mens.'
Eind dit jaar loopt dit Europese project af, maar bij HMI bestaan al plannen om een eigen virtueel karakter te ontwikkelen met daarin een door de vakgroep gemaakte Nederlandse spraakherkenner. Over vijf tot tien jaar verwacht Ter Maat dat we virtuele luisteraars in het dagelijks leven kunnen tegenkomen: op het station, in een museum of misschien zelfs in huis. `Een van onze ideeën is om zo'n virtuele luisteraar bij je thuis te hangen. Die kan je dan begroeten als je thuiskomt en vragen hoe je dag was.'
 |
| Mark ter Maat: `We ontwikkelen een virtueel figuur dat niet alleen kan praten, maar ook lacht, knikt, gezichtsuitdrukkingen heeft en de gesprekspartner motiveert om door te gaan.' (Foto: Arjan Reef) |
