Als iemand bij een boos gezicht de bijbehorende boze stem hoort, herkent hij de emotie sneller en beter. De hersenen integreren gezichtsuitdrukking en toon tot één signaal. Dit signaal legt een andere weg af tot 'bewustzijn' dan een boos gezicht zonder boze stem. Dit blijkt uit onderzoek van psycholoog Gilles Pourtois van de Katholieke Universiteit Brabant.
Horen en zien zijn niet altijd gescheiden processen. Dit bewijst het in perceptieonderzoek befaamde McGurk-effect: een proefpersoon die kijkt naar een mond die 'gaga' articuleert en tegelijkertijd luistert naar een geluidsband met daarop 'baba', meent 'dada' te horen.
De Tilburgse onderzoeker Pourtois wilde weten hoe emoties worden verwerkt wanneer ze door twee zintuigen worden waargenomen. Dit is in het dagelijks leven eerder regel dan uitzondering: je hoort én ziet iemand lachen.
Boosheid en droefenis blijken beter en sneller herkend te worden wanneer gezichtsuitdrukkingen en intonatie overeenkomen. Experimenten met proefpersoenen die door een hersenbeschadiging geen gezichten meer kunnen herkennen wijzen uit dat de integratie van zien en horen automatisch verloopt. Uit hersenscans blijkt dat geïntegreerde signalen elders in de hersens worden verwerkt dan een afzonderlijk beeld of geluid. Ook vond Pourtois aanwijzingen dat de inhoud bepaalt of beeld en geluid integreren: willekeurige vormen samen met willekeurige beelden verwerkt het brein apart.
