Experiencing Emotions in Different Media Types: Psychological Processes and Neural Correlates

Abstract

The overall aim of the present dissertation project was to investigate how responses to emotional information are modulated by the presentation medium. While many studies have used different types of stimulus materials to study emotion processing, so far only few studies have focused on media-specific affective processes. Models of media reception have, however, recently integrated psychological theories and theories from literary and film studies. They thereby provide useful frameworks for understanding affective and aesthetic responses to media stimuli. Based on these models, this dissertation project focuses on three basic questions: Are emotional responses domain- specific and are pictorial stimuli emotionally more powerful than verbal material? What are the psychological processes and neural mechanisms underlying the dynamic unfolding of emotional responses in movies? What are modulating factors of processing emotional information in different media types? To capture differences between verbal and pictorial materials, a functional magnetic resonance imaging (fMRI) study was designed, which in contrast to previous studies, controlled the perceptual complexity of the material. The main results are 1) comparable valence effects for words and pictures, when controlled for complexity; 2) interactions of valence and modality in mainly perceptual and language brain regions; and 3) stronger valence effects for complex photos compared to pictograms in frontal emotion processing regions. A second fMRI study was designed to investigate the dynamic unfolding of emotional responses in movies. Its main results are 1) continuous sadness ratings show time-variable responses with sadness peaks toward the predicted emotional scene climax; 2) dynamic movie context modulates activations in anterior and posterior cortical midline regions and their coupling with posterior sensory and subcortical reward areas. The third literature-based study aimed at discussing modulating factors of emotional media reception. It summarizes results of emotion processing in different media types, and relates them to current theories of emotion. It finally discusses them in the context of media reception models and argues for a crucial role of immersive processes for emotional responses to different media types. The results of this dissertation confirm that different media stimuli, symbolic verbal as well as more realistic, multimodal stimuli can have powerful emotion effects. The dissertation describes media-specific emotional responses that support experience-based neural representations of emotions. It further emphasizes the relevance of interactions of cortical midline, posterior sensory and subcortical reward networks in the dynamic processing of emotional information in audiovisual stimuli. Finally, it discusses the crucial role of immersive processes and its underlying mechanisms in emotional media reception.

Das Hauptziel dieses Dissertationsprojektes liegt darin zu untersuchen, wie Reaktionen auf emotionale Informationen durch das Präsentationsmedium moduliert werden. Während viele Studien unterschiedliche Stimulusmaterialien verwendet haben, um Emotionsverarbeitungsprozesse zu untersuchen, haben sich bisher nur wenige gezielt mit medien-spezifischen affektiven Prozessen auseinander gesetzt. Aktuelle Modelle der Medienrezeption verknüpfen psychologische Theorien mit Theorien der Literatur- und Filmwissenschaften und liefern damit den nötigen Rahmen zum Verständnis von affektiven und aesthetischen Reaktionen auf Medienstimuli. Vor dem Hintergrund dieser Modelle, fokussiert sich dieses Dissertationsprojekt auf drei Grundfragen: Sind emotionale Reaktionen domänenspezifisch und sind bildliche Stimuli emotional wirkungsvoller als verbales Stimulusmaterial? Was sind die psychologischen Prozesse und neuronalen Mechanismen, die der dynamischen Entwicklung emotionaler Reaktionen in Filmen zugrunde liegen? Was sind modulierende Faktoren der Verarbeitung emotionaler Informationen in unterschiedlichen Medien? Um Unterschiede in der Verarbeitung von bildlichem und verbalem Material zu untersuchen, wurde eine funktionale Magnetresonanztomographie (fMRT)-Studie entwickelt, in welcher, im Unterschied zu bisherigen Studien, die perzeptuelle Komplexität des Materials kontrolliert wurde. Die Hauptergebnisse sind 1) vergleichbare Valenzeffekte für Wörter und Bilder, wenn sie für Komplexität kontrolliert werden; 2) Interaktionen von Valenz und Modalität in vor allem perzeptuellen und Sprachregionen; 3) stärkere Valenzeffekte für komplexe Fotos im Vergleich zu Piktogrammen in frontalen emotionalen Hirnregionen. Eine zweite fMRT-Studie wurde entworfen, um die dynamische Entfaltung emotionaler Reaktionen auf Filme zu untersuchen. Die wichtigsten Ergebnisse sind 1) kontinuierliche Traurigkeitsbeurteilungen zeigen zeitlich variable Reaktionen mit emotionalen Gipfeln im Bereich der vorhergesagten emotionalen Szenenklimaxe; 2) dynamischer Filmkontext moduliert Aktivierungen in anterioren und posterioren kortikalen Mittellinienregionen und deren Verbindung mit posterioren, sensorischen und subkortikalen Belohnungsarealen. Die dritte literaturbasierte Studie hatte das Ziel, modulierende Faktoren der emotionalen Medienrezeption zu diskutieren. Sie fasst Ergebnisse der Emotionsverarbeitung in verschiedenen Medien zusammen, setzt diese in Relation zu Theorien der Medienrezeption und argumentiert für eine kritische Rolle von Immersionsprozessen bei der Verarbeitung emotionaler Informationen in verschiedenen Medien. Die Ergebnisse dieser Dissertation bestätigen, dass unterschiedliche Medienstimuli, symbolisch verbale als auch realistischere, multimodale Stimuli eine starke emotionale Wirkung haben können. Die Arbeit beschreibt medienspezifische Reaktionen, welche eine erfahrungsbasierte Repräsentation von Emotionen unterstützen. Weiterhin hebt sie die Bedeutung von Interaktionen kortikaler Mittellinienregionen mit posterioren sensorischen Regionen und subkortikalen Belonungsarealen in der dynamischen Verarbeitung sozio-emotionaler Informationen in audiovisuellen Materialien hervor. Schlussendlich diskutiert sie die bedeutsame Rolle von Immersionsprozessen und deren zugrundeliegenden Mechanismen in der emotionalen Medienrezeption.