Een nieuwssnipper van vorige week: Bill - Microsoft - Gates voorspelt dat de computer van de toekomst behalve oren ook ogen zal hebben. Technici van Microsoft (researchbudget twee miljard dollar) werken aan een piepkleine camera die handen en ogen van de gebruiker volgt en op grond daarvan beslissingen neemt en programma's aanstuurt. Zo 'ziet' de computer dat de gebruiker zich afwendt en kan de screen-saver worden gestart.
Roel Vertegaal moet een beetje lachen om Gates' voorspelling. Hij noemt het een potsierlijk voorbeeld van een 'technology-driven approach'. Outsider Vertegaal zoekt liever oplossingen voor echte problemen in mens-machine interactie. Vanuit de Twentse periferie en zonder veel faciliteiten, maar goed genoeg om zijn opwachting te kunnen maken op de ACM'97 Expo.
De conferentie vindt plaats ter gelegenheid van het vijftigjarig bestaan van de Association for Computing Machinery en wordt gesponsord door alle grote bedrijven: van Microsoft en Sun Microsystems tot Intel en Netscape Communications. De Expo is bedoeld als vooruitblik op 'the next 50 years of computing' en 'technologies yet to come'. Een hele eer om daar te verschijnen, zegt Vertegaal, want alle grootheden van de internationale computerwereld zijn er. 'En Roeltje Vertegaal is er ook bij.'
Prototype
Vertegaal is uitgenodigd om het GAZE Groupware System te presenteren, het prototype van een door hem ontworpen ooggestuurd audiovisueel driedimensionaal vergadersysteem. Het unieke van GAZE is dat het, anders dan bestaande videoconferencingsystemen, op basis van de kijkrichting van deelnemers gesprekken reguleert en naar documenten verwijst.
Het systeem laat deelnemers van een sessie zien wie binnen een driedimensionale virtuele 'vergaderzaal' op Internet met wie praat en waarover. Dat gebeurt door met geavanceerde oogmeetapparatuur ('eye-tracker') te registreren waar individuele deelnemers naar kijken. Geheel automatisch; de deelnemers hoeven er zelf geen enkele handeling voor te verrichten.
GAZE maakt onderdeel uit van het onderzoeksproject waarop Vertegaal medio 1998 hoopt te promoveren. Dat 'tweekernenonderzoek' omvat ook fundamenteel onderzoek naar visuele aandacht binnen menselijke communicatie. 'Ik wil in mijn proefschrift de bijna onmogelijke balans bereiken van wetenschap en toepassing, technische en sociale wetenschap', aldus Vertegaal.
Vertegaals aanpak verschilt van die van fabrikanten van beeldtelefonie en teleconferencingsystemen die mikken op beeldkwaliteit met een zo hoog mogelijke resolutie. In plaats van zo'n 'technology-driven approach' kiest hij een functionele benadering. 'Hoe goed simulatie van menselijke interactie ook is, het wordt nooit zo goed als face-to-face. Probeer dat dan ook niet, probeer liever de essentie van communicatie te modelleren.'
Euvel
Bestaande groupware/videoconferencingsystemen leiden nu volgens Vertegaal aan het euvel dat gebruikers maar een zeer beperkte 'awareness' hebben vandegenen met wie ze communiceren. Zijn ze er wel? Wat doen ze? Zijn ze beschikbaar? Zo stuitte hij op het basisprincipe van 'visuele aandacht' - sociaal-wetenschappelijk nog onontgonnen terrein.
'Visuele aandacht is de essentiële parameter in menselijke communicatie. Alle vormen van awareness in synchrone, interactieve communicatie, zowel in een gewoon gesprek als op Internet, zijn grotendeels te herleiden tot waar iemands visuele aandacht op een bepaald moment ligt. Als we die visuele aandacht kunnen meten en overdragen, kunnen we communiceren via Internet bijna net zo goed maken als in een face-to-face situatie.'
Het meten van visuele aandacht werd mogelijk door de nieuwste gebruiksvriendelijke eye-trackers. Vroeger bestonden alleen passieve oogmeetsystemen die werden gebruikt voor onderzoek naar de psychologie van het kijken en mens-machinesystemen. Inmiddels zijn er ook actieve oogbesturingssystemen waarmee computers met de ogen kunnen worden bediend.
Oogspier
Vertegaal werkt samen met LC Technologies, een klein Amerikaans high-tech bedrijf uit Fairfax, Virginia dat in 1988 het Eyegaze-systeem introduceerde, een ooggestuurd computersysteem voor spastici en andere mensen met een fysieke handicap die alleen via hun oogspier een computer kunnen bedienen. LC Technologies (samen met Vertegaal present op ACM'97) levert technologie voor zowel passieve oogmeting als oogbesturing.
Vertegaals gebruik van de eye-tracker is een van de eerste toepassingen voor algemeen (computer)gebruik. 'In de rest van de wereld wordt wel onderzoek naar oogmeting gedaan, maar niet naar actieve oogbesturing en al helemaal niet voor deze concrete toepassing. Dit is beyond-state-of-the-art technology. De benodigde technologie is pas sinds kort beschikbaar.'
Toen eind 1996 de uitnodiging van ACM'97 binnenkwam lag er nog niets, zegt Vertegaal. 'We hadden het idee, maar geen computers, geen software en geen oogmeetapparatuur. Er was alleen een simulatie op video. Toch moesten we in anderhalve maand tijd een werkend prototype uit de grond stampen.' We - dat zijn Vertegaal zelf, vakgroepsgenoot ir. Harro Vons en INF-afstudeerder Robert Slagter (vakgroep Systeemprogrammatuur en Architectuur).
Synesthesie
Achteraf bleek het een 'moment van perfecte synesthesie', glundert Vertegaal. LC Technologies wilde wel een eye-tracker uitlenen (waarde 30 duizend gulden). Vervolgens kwam in de vorm van VRML 2.0 (Virtual Reality Modelling Language) een gloednieuwe Internetstandaard voor interactieve 3D-graphics beschikbaar ('VRML is voor 3D-graphics wat HTML is voor tekst'). En tenslotte volgde net op tijd een geschikte browser-versie.
Dankzij de VRML-standaard en -browser, beiden op basis van de programmeertaal JAVA, kon Vertegaal GAZE meteen 'platform-onafhankelijk' maken: het systeem kan op elke computer en met elke web-browser draaien. Vertegaal: 'Zo hadden we alles bijeen: ontwerp, uitnodiging, eye-tracker, standaard en browser. Vervolgens besloten we het prototype gewoon te gaan maken. Dat is gelukt. Maar het ontwerp was natuurlijk al klaar.'
Vertegaal geeft een demonstratie op zijn PC. Eerst moet de eye-tracker, waarvan het uitwendige bestaat uit een cameraatje dat boven en een oogmeter die onder het scherm is gemonteerd, worden 'gecalibreerd'. Het LED-lichtje van de oogmeter schijnt in de pupil van de deelnemer zodat de camera de reflectie kan registreren. Met behulp van ijkpunten op het scherm gebeurt dat voor een aantal kijkrichtingen. Daarna kan de eye-tracker de pupilbewegingen zelf koppelen aan wat er op het scherm te zien is.
Vergaderzaal
Nadat Vertegaal netjes op de 'deur' heeft geklopt verschijnt de virtuelevergaderzaal. Een voor een komen de andere vergaderaars binnen (nu nog maximaal vier). Ieder is present met zijn stemgeluid en zijn fotovenster in een eigen kleur. De vensters roteren conform de blikrichting van de betrokkene. 'Hoewel het nu nog een foto is (straks wordt dat bewegend beeld), biedt die rotatie al een heel krachtig effect', zegt hij.
Midden in de virtuele zaal staat een dito vergadertafel waarop de deelnemers een document kunnen deponeren. Een bewegend 'spotlight' in de eigen kleur geeft weer wanneer welke deelnemer er een blik op werpt. Vertegaal klikt op het document. Vervolgens opent het in een speciaal venster ernaast, inclusief 'spotlights'. Handig voor de discussie.
Het aardige van GAZE is dat alles 'vanzelf' gaat, benadrukt Vertegaal. Hij laat zien hoe het systeem precies aangeeft wie naar wie of wat kijkt zonder dat het door geklik met de muis of andere commando's bestuurd hoeft te worden. 'Je stuurt natuurlijk wel, via je ogen, maar dat gebeurt direct en ongemerkt. Je kijkt naar iemand of iets en er gebeurt wat.'
Vlotter
Volgens Vertegaal zal nader onderzoek aantonen dat met GAZE het beurtelings spreken tijdens de sessie vlotter en natuurlijker verloopt dan met de huidige systemen. 'Om spraakverwarring te voorkomen is immers geen strenge gespreksleider meer nodig die aan de knoppenbalk zit.' Ook maakt het systeem het verwijzen naar documenten een stuk eenvoudiger. 'Een deelnemer kan met behulp van de spotlight precies aangeven welke zin of alinea hij zou willen bespreken door er gewoon naar te kijken.'
GAZE zal de komende jaren verder geperfectioneerd worden. Niet alleen door de invoering van bewegende videobeelden. Vertegaal wil dat het systeem ook flexibel omgaat met door elkaar heen pratende of onderonsjes plegende vergaderaars. GAZE zal zich daaraan automatisch aanpassen door beeld- en geluidsverbindingen via tijdsfilters te versterken of af te zwakken afhankelijk van de gemeten visuele aandacht van deelnemers. Als A zich richt tot B, hoeven C en D daar immers niet van mee te genieten.
Het opvoeren van de beeld- en geluidskwaliteit van relevante verbindingen bevordert goede en natuurlijke communicatie. Onderonsjes tussen individuele gesprekspartners worden mogelijk zonder dat er een kakafonie ontstaat (Vertegaal noemt dit het 'cocktailparty-effect'). Het wegfilteren van niet-relevante verbindingen en omgevingsruis reduceert bovendien de totale hoeveelheid bits die over het netwerk moet worden gezonden.
Er is nog veel te doen, zegt Vertegaal. 'GAZE staat nog lang niet in de huiskamer. Dat duurt nog wel twintig jaar. Maar alle technische problemen zijn in principe oplosbaar.' Aan octrooien denkt hij niet. Het prototype is commercieel nog niet interessant want technisch te geavanceerd. 'Publiceren is voor een academicus bovendien belangrijker dan een octrooi.'
de virtuele vergaderruimte van GAZE.
