Neural correlates of multisensory processing

Abstract

Multisensory processing and the integration of stimuli from various senses are essential for the formation of coherent percepts within our environment. The McGurk illusion is a phenomenon of multisensory speech processing and results in a fused illusory speech percept. In this context, a special functional significance has been attributed to synchronized neural oscillations, as measured in the electroencephalography (EEG). Beside research in healthy participants also studies on multisensory processing in patients with psychiatric disorder, such as schizophrenia gained increasing interest. However, specific support for deficient multisensory processing in schizophrenia is still incomplete. Hence, the papers presented here were aimed at addressing these issues and scrutinized the functional significance of slow oscillations in a broad range of multisensory speech tasks, using non-invasive EEG in healthy participants and patients with schizophrenia. In two EEG studies, we demonstrated an involvement of slow oscillatory activity during the perception of the McGurk illusion. During the perception of the McGurk illusion healthy participants showed increased beta-band power suppression in speech-related areas. In patients with schizophrenia, a lack of alpha-band power suppression in patients suggests a deficient integrative multisensory processing. An additional EEG study in speech processing showed that patients with schizophrenia and controls differed according their processing of the crossmodal prediction error. These differences were most pronounced in frontal theta-band activity, reflecting enhanced detection of multisensory prediction error in controls, but not in patients. Taken together, the results from the three studies are in line with previous research and extend the knowledge about the role of slow oscillations during multisensory processing. In sum, the papers presented here provide a first starting point for the investigation of oscillatory brain mechanisms underlying complex multisensory speech perception in healthy participants and psychiatric disorders, such as schizophrenia.

Die multisensorische Verarbeitung und Integration von Reizen aus unterschiedlichen Sinneskanälen ist essentiell für eine kohärente Wahrnehmung unserer Umwelt. Die McGurk Illusion ist ein Phänomen der multisensorischen Sprachverarbeitung und resultiert in einer illusionären Sprachwahrnehmung. In diesem Zusammenhang wird synchronen neuronalen Oszillationen, messbar mit Elektroenzephalographie (EEG), eine besondere funktionelle Bedeutung zugeschrieben, da diese als potentzieller Kommunikations- und Integrationsmechanismus zwischen entfernten Hirnarealen fungieren und so eine wichtige Rolle innerhalb der multisensorischen Integration einnehmen. Neben den bisherigen Untersuchungen zu oszillatorischen Prozessen an gesunden Probanden, haben Studien zur multisensorischen Verarbeitung bei Patienten mit psychiatrischen Erkrankungen, wie beispielsweise der Schizophrenie ein gesteigertes Interesse erfahren. Trotzdem sind die spezifischen Hinweise für ein Vorliegen eines multisensorischen Integrationsdefizits bei Patienten mit Schizophrenie unzureichend. Daher sollen die hier präsentierten Paper diese Fragen aufgreifen und die funktionelle Bedeutung von Oszillationen in mehreren Experimenten zur multisensorischen Sprachverarbeitung, mittels des nicht invasiven EEG bei gesunden Probanden und Patienten mit Schizophrenie untersuchen. In zwei EEG-Studien konnten wir die Rolle der langsamen oszillatorischen Aktivität während der Wahrnehmung der McGurk illusion belegen. Bei gesunden Probanden zeigte sich eine gesteigerte Beta Band Power Suppression während der Wahrnehmung der McGurk illusion in Spracharealen. Bei Patienten zeigte sich hingegen, eine Verringerung der Alpha Band Power Reduktion, welche Defiziten während der multisensorischen Integration nahelegt. Eine zusätzliche EEG Studie zur Sprachverarbeitung, lieferte Evidenz, dass sich Patienten mit Schizophrenie und gesunde Probanden hinsichtlich der Verarbeitung des crossmodalen Vorhersagefehlers unterschieden. Diese Unterschiede waren besonders innerhalb der frontalen Theta Band Aktivierung erkennbar und reflektieren eine verstärkte Detektion des crossmodalen Vorhersagefehlers bei Kontrollen, jedoch nicht bei Patienten mit Schizophrenie. Zusammenfassend stehen die Ergebnisse der drei hier vorgestellten Studien in Einklang mit den bisherigen Studien und unterstreichen die Bedeutung langsamer Oszillationen für multi- und unisensorische Verarbeitungsprozesse. Abschließend lässt sich sagen, dass die vorliegenden Ergebnisse einen ersten Ansatzpunkt für die Untersuchung von oszillatorischen Hirnmechanismen darstellen, welche der komplexen multisensorischen Sprachwahrnehmung bei gesunden Probanden und psychiatrischen Störungen, wie der Schizophrenie zugrundeliegen.