Horen en zien zijn niet altijd gescheiden processen. Dit bewijst het in perceptieonderzoek befaamde McGurk-effect: een proefpersoon die kijkt naar een mond die 'gaga' articuleert en tegelijkertijd luistert naar een geluidsband met daarop 'baba', meent 'dada' te horen.
De Tilburgse onderzoeker Pourtois wilde weten hoe emoties worden verwerkt wanneer ze door twee zintuigen worden waargenomen. Dit is in het dagelijks leven eerder regel dan uitzondering: je hoort én ziet iemand lachen.
Boosheid en droefenis blijken beter en sneller herkend te worden wanneer gezichtsuitdrukkingen en intonatie overeenkomen. Experimenten met proefpersoenen die door een hersenbeschadiging geen gezichten meer kunnen herkennen wijzen uit dat de integratie van zien en horen automatisch verloopt. Uit hersenscans blijkt dat geïntegreerde signalen elders in de hersens worden verwerkt dan een afzonderlijk beeld of geluid. Ook vond Pourtois aanwijzingen dat de inhoud bepaalt of beeld en geluid integreren: willekeurige vormen samen met willekeurige beelden verwerkt het brein apart.
