De NeuroClassifier verwerkt informatie sneller dan welk ander analoog of digitaal neuraal netwerk ook, stelt dr. Péter Masa (EL). 'Als je de tekst van de Bijbel compleet zou digitaliseren, zou de NeuroClassifier die hoeveelheid data wel 20 keer per seconde kunnen doornemen. Dat doet hooguit een supercomputer hem na. Maar zo'n computer kost wel 50 miljoen, deze chip slechts 5000 gulden', aldus Masa. De NeuroClassifier werd vorig jaar tijdens het congres MicroNeuro 1994 in Turijn met de 'Best Chip Award' bekroond.
Péter Masa promoveerde 20 januari jl. op zijn bijzondere ontwerp. Zijn door FOM/STW gefinancierde promotieproject ging in 1990 van start. Masa - afkomstig uit Szeged, Hongarije, wilde na zijn studie aan de Technische Universiteit Boedapest graag verder in micro-elektronica. Aanvankelijk ambieerde hij een PhD-project in de VS. Uiteindelijk kwam hij terecht aan de UT. 'Daar ben ik achteraf erg blij mee. Het is hier in Nederland veel gezelliger dan in de VS, en het ligt een stuk dichter bij Hongarije', zegt Masa.
Belang
Zijn promotieproject was onderdeel van het onderzoeksthema Analoge Schakelingen en Systemen van prof.dr. H. Wallinga (IC-technologie en Elektronica). Het belang van dat thema is vooral gelegen in het feit dat analoge schakelingen bij bepaalde taken (zoals signaalverwerking en patroonherkenning) nog steeds beter presteren dan digitale. Dat geldt met name de analoge neurale netwerken. De groep-Wallinga richt zich vooral op de hardware realisering van zulke netwerken op VLSI (Very Large Scale Integration) silicium-chips.
Een neuraal netwerk is een digitaal of analoog systeem (software of hardware) dat de werkwijze van de menselijke hersenen benadert. Het netwerk verwerkt informatie via een aantal gekoppelde parallelle verwerkingselementen ('neuronen'). De manier waarop die op elkaar inwerken wordt door het netwerk zelf beïnvloed. Zo kan het taken leren (zoals het herkennen/selecteren van informatie) zonder dat die vooraf zijn ingeprogrammeerd. Het netwerk ontwikkelt op basis van ingevoerde voorbeeld-data zelf de regels daartoe.
Masa ging met analoge neurale netwerken aan de slag omdat deze kleiner, sneller en goedkoper zijn dan de digitale alternatieven. 'Een analoog netwerk neemt veel minder chip-oppervlak in beslag; er kunnen wel tienduizend analoge multipliers op een chip, maar hooguit enkele digitale. De verwerkingssnelheid van een analoog netwerk is verder groter omdat de neuronen parallel rekenen en niet serieel. En het energiegebruik is minder.'
Er is ook een nadeel: 'De nauwkeurigheid van een analoog netwerk is veel kleiner dan van een digitale variant. Die beperkte nauwkeurigheid is het grote struikelblok. Als je een analoge schakeling nauwkeuriger wilt maken, stijgen de problemen exponentieel. Een analoog ontwerp is dan ook veel moeilijker te realiseren dan een digitaal ontwerp', aldus Masa.
Optie
Toch loont het de moeite: 'Digitaal is niet altijd beter. Een digitale computer van 100 MegaHerz is één miljoen keer sneller dan de menselijke hersenen, die eensnelheid hebben van 100 Herz. Toch zijn er taken die de hersenen veel beter doen, zoals het herkennen van een gezicht. Bij zulke taken, met veel data en ruis, waarbij nauwkeurigheid bovendien niet de eerste vereiste is, is een analoog neuraal netwerk een geschikte optie.'
De door Masa ontworpen NeuroClassifier is een analoog netwerk op een VLSI silicium-chip van 9 bij 8 mm, waarop zes parallelle rekeneenheden ('neuronen') met elk 70 ingangen en in totaal 420 multipliers (schakelingen die vermenigvuldigen, 'synapsen') zijn aangebracht. Door die parallelle eenheden werkt het netwerk snel. Omdat de chip programmeerbaar is, is hij geschikt voor tal van toepassingen, zoals bijvoorbeeld beeldherkenning.
Masa ontwikkelde zijn NeuroClassifier met het oog op real-time patroonclassificatie in de hoge energie-fysica. Bij deeltjesonderzoek is het cruciaal om enorme hoeveelheden data razendsnel te kunnen verwerken. Zo leveren de 270 duizend detectoren van de deeltjesversneller DESY (Deutsches Elektronen Synchrotron) in Hamburg elk per seconde 10 miljoen 'gebeurtenissen' op, waarvan slechts een vijftal voor fysici echt interessant zijn: de zeldzame botsingen tussen elektronen en protonen waarbij onder meer quarks vrijkomen. Die botsingen moeten geselecteerd en verwerkt worden.
De NeuroClassifier gaat zijn verwerkingscapaciteit van 50 miljoen gebeurtenissen per seconde bij DESY demonstreren als onderdeel van een van de detectoren, metershoge apparaten waarbinnen de eigenlijke deeltjesbotsingen plaatsvinden. Eind april kan de chip zijn ingebouwd, waarna de eerste praktijktests plaatsvinden. In de toekomst zijn er wellicht ook mogelijkheden bij de versnellers in Pisa, Genève (CERN) en Chicago (Fermilab).
De hoge-energie fysica toepassing was in de beginfase van het project far-fetched vanwege het bovengenoemde nauwkeurigheidsprobleem. 'Hoewel het idee van een analoog neuraal netwerk niet nieuw was, wist niemand of zo'n netwerk nauwkeurig genoeg zou zijn. Je kunt met CMOS-technologie best tienduizenden synapsen op een chip zetten (zodat je tienduizendvoudig parallel kunt rekenen) maar de nauwkeurigheid van de neuronen zelf blijft beperkt. Het was dus de vraag of die nauwkeurigheid voldoende was voor de gestelde taak.'
Begin fase
Dat stelde eisen aan het proces waarmee de NeuroClassifier moest leren om de juiste gegevens te selecteren. Het back-propagation algoritme (de geijkte leertechniek voor netwerken) bleek bij analoge elektronica slecht te werken. Volgens Masa werd de oplossing gesuggereerd door natuur, i.c. de biologie van de hersenen. 'Net als bij de hersenen is bij analoge neurale netwerken het systeem op zich (performance-fase) ongevoelig is voor de onnauwkeurigheid van de afzonderlijke neuronen. Alleen de leerfase is gevoelig. We kwamen dus op het idee om het neuraal netwerk te combineren met neurocomputing.'
Het eigenlijke leerproces deed Masa dus extern op de computer. Die berekende op basis van voorbeeld-data de multipliers ('gewichtsfactoren') die daarna in het interne 'geheugen' van de chip werden opgeslagen. Masa: 'We hebben het netwerk als het ware patronen van appels en aardbeien voorgezet, en daarbij steeds verteld of het een appel of een aardbei was. Op de duur ontwikkelt het netwerk dan zelf een regeltje om appels en aardbeien te scheiden.' Op die manier werd de gewenste nauwkeurigheid makkelijk gehaald, zegt Masa.
Geschikt
Het opslaan van het leerresultaat (de multipliers) in het bedradingspatroon van de NeuroClassifier werd eerst geprobeerd met behulp van 'maskerprogrammering', waarbij het leerresultaat als het ware bij de fabrikage wordt ingebakken. In de tweede en definitieve versie van de chip wordt het leerresultaat vastgelegd in het 'geheugen' van de chip ('elektrische programmering'). Daardoor is de chip in principe ook geschikt voor andere toepassingen.
Masa deed voor de programmering van zijn analoge neurale netwerk zoals gezegd inspiratie op bij de biologie van de menselijke hersenen, maar omgekeerd leverdedat onderzoek ook weer inzichten op voor het hersenonderzoek, zegt hij. 'Het lijkt ons inmiddels gezien ons eigen onderzoek onwaarschijnlijk dat de menselijke hersenen leren via dat gevoelige back-propagation leerproces. Menselijke neuronen zijn daarvoor veel te onnauwkeurig. Volgens ons moeten er i de hersenen dus heel andere leermethoden aan het werk zijn.'
