Gevoed met signalen van microfoons, sensoren en camera's kan de computer, geholpen door steeds grotere rekenkracht, zo goed als real-time reageren op zijn omgeving. Sterker nog. Mits goed geprogrammeerd kan het apparaat de veranderende omgeving intelligent waarnemen en daar op inspelen.
Tijdens de Human-Music Interaction Day, afgelopen vrijdag, liet professor Anton Nijholt zien dat er in vijf jaar, ten tijde van het vorige lustrum van de faculteit Informatica, veel kan veranderen. Toen nog liet hij een virtuele drummer zien, die een midi-file in beeld en geluid naspeelde. In het introductiefilmpje anno 2006 kon het congrespubliek zien hoe professionele percussionisten zichtbaar plezier beleven aan de manier waarop een computergestuurde collega moeilijke ritmes naspeelt, erop varieert en met hen tot samenspel komt. De computer is weer een stap verder.
Actief
Op de HMI-dag in het Logica-gebouw presenteerden en toonden naast gearriveerde informatica-onderzoekers, ook studenten van Nijholt zelf hoe zij nieuwe toepassingen ontwerpen. Rode draad daarbij is de manier waarop de mens actief kan profiteren van de omgevingsbewuste computer.
`Dat daar veel muziektoepassingen bij zijn komt aan de ene kant omdat de techniek nieuwe mogelijkheden opent', zegt Nijholt. `Maar we merken dat veel van onze studenten al iets met muziek doen, dus waarom daar niet op inspelen? Ook veel leden van onze onderzoeksgroep hebben belangstelling voor muziek. Dat komt dus mooi uit. Met de computer kunnen mensen actief muziek bestuderen, erop te dansen of er spellen mee ontwikkelen. Daarom zie je hier in de demonstratieruimte naast beeldschermen zoveel microfoons, sensoren en attributen zoals een dance-pad.'
Veel bekijks scoorde afstudeerder Pieter Bos met zijn `virtuele dirigent'. Deze struise vrouwspersoon in strakke paarse jurk, korte mouwen en met korte grijze haren, werd vanaf de monitor op een groot projectiescherm getoond. Over haar resolute, sexy uiterlijk heeft Pieter nog niet zo diep nagedacht. `Dat pas ik later wel aan', zegt hij voordat hij het echte werk begint uit te leggen.
`Tijdens de demonstratie speel ik op trombone samen met violist Dennis Reidsma. We spelen korte stukken die we vooraf in verschillende tempi in de computer hebben ingegeven. Als de dirigent via de microfoon hoort dat wij een ander tempo hanteren, dan probeert zij ons weer in het juiste tempo mee te krijgen. De virtuele dirigent speelt daarbij slim in op de omstandigheden. Eerst conformeert ze zich een beetje aan ons tempo. Daarna probeert ze ons op de eerste tel van de maat in haar versnelling of vertraging mee te nemen. In de dirigeergebaren die ze maakt is vooral de beweging naar de eerste tel toe van vitaal belang, om de muzikanten met succes mee te krijgen in het nieuw tempo. Ik werk in mijn afstudeerproject samen met dirigent Daphne Wassink. Zij brengt veel muzikale kennis in.'
Positieve reacties kreeg Bos vorige maand al tijdens een lezing die hij hield bij Microsoft in Cambridge, Engeland. Op een andere presentatie, voor professionele muzikanten, kreeg hij meteen te horen dat zij mogelijkheden zagen om de tool zelf in te zetten bij hun muziekstudie.
Toepassingen
Ook Anton Nijholt ziet praktische toepassingen. `Als je in een orkest of een koor musiceert, heb je niet altijd de beschikking over een dirigent van vlees en bloed. Met de virtuele dirigent kun je bijvoorbeeld in de huiskamer in kleine groepen serieus repeteren of gewoon lekker samenspelen. Er zijn al veel terreinen waar de computer intelligent omgaat met de omgeving, zoals in de assemblage van producten of bij fitness-apparaten. Muziek is een dus goede proeftuin voor `ambient intelligence', zoals we dat noemen. Ook kan muziek vaak een goede aanvulling betekenen, bijvoorbeeld bij fitness- en gaming-toepassingen.'
Eén van de andere afstudeerders bij de master Human Media Interaction van Nijholt c.s. - die drie jaar geleden van start ging - is Lisette Jansen. Zij liet een muzikale kangoeroe het levenslicht zien. Een grote pop met hoge aaibaarheidsfactor, heeft een buidel waarin kinderen CD's en muziekinstrumenten kunnen stoppen. Op het scherm gaat `Panze' - zo heet de vrouwtjeskangoeroe - het gekozen liedje zingen onder begeleiding van één of meerdere ingebrachte muziekinstrumenten. Als beloning voor de keuze die het kind gemaakt heeft, verschijnt een baby-kangoeroe op het scherm die vrolijk vanuit de buidel van Panze naar buiten kijkt.
Lisette Jansen: `Proeven met kinderen in de huissituatie leverden goede resultaten op. De kinderen toonden spontane en muzikale reacties die ik van te voren niet had verwacht. Ze waren nieuwsgierig en gingen zelf op ontdekking uit met de muziekinstrumenten en de CD's.
'Na deze eerste testfase ga ik verder met de doorontwikkeling. De beloning zoals we die op het scherm tonen, met de baby-kangoeroe, moet veel duidelijker zijn voor de kinderen. Ook is het belangrijk dat het kind niet te lang hoeft te wachten als hij of zij een nieuwe CD of muziekinstrument in de buidel stopt.'
`Het vakgebied van Human Media Interaction wordt steeds multidisciplinairder', zegt Nijholt. `De studenten staan dichterbij echte toepassingen, ze moeten samenwerken met andere technische disciplines en ze moeten valide experimenten ontwerpen met respondenten.'
Pieter Bos met zijn virtuele dirigent
