Textual emotion potential, fiction feelings, and immersion: an fMRI study testing the neurocognitive poetics model of literary reading

Abstract

Reading is a complex higher-order cognitive activity unique to human beings, which transmits the sense, feeling, tone, and intention of the writer and brings pleasures. However, the neurocognitive aspects of emotion processing in literary reading are still hardly understood. This dissertation aims to investigate the affective processing mechanisms during literary reading. The neurocognitive poetics model of literary reading by Jacobs (2011, 2014) is referred to as guidance for the author to pose relevant research questions and to test key assumptions of the model. The foci of this dissertation include the lexical, inter-lexical level, and supra-lexical level. For this dissertation, an fMRI experiments were conducted, in which 120 text passages from the Harry Potter book series were presented. The passages presented contained three orthogonal factorial dimensions: Emotion, Supra-naturalness, and Language (L1 vs. L2). Chapter 2 investigates the emotion potential of single words in reading. Results showed significant correlations between affective lexical variables, passage ratings, as well as activity in regions associated with emotion, situation model building, multi-modal semantic integration, and Theory of Mind, suggesting that the emotion potential of texts can be predicted by lexical and inter-lexical affective variables. Chapter 3 investigates the neural correlates of the immersion reading experience. Immersion ratings were significantly higher for fear-inducing than for neutral passages, and activity in the mid-cingulate cortex correlated more strongly with immersion ratings of fear-inducing than neutral pas-sages. The results suggest that negatively valenced contents activate the affective empathy network and facilitate the immersive reading experience. Chapter 4 investigates the effect of world-knowledge violation during situation model construction. Readers assigned passages in the supra-natural condition significantly higher scores on dimensions of supra-naturalness, surprise, and reading pleasure. Neural correlates of reading supra-natural vs. neutral contents include neural correlates associated with world-knowledge integration, the salience network, emotion processing, and attention. Finally, the author investigated whether there is any quantitative or qualitative difference in emotion processing when reading in L1 vs. L2 at the neuronal level. At the behavioral and factorial fMRI results showed stronger perceived emotionality in L1 than in L2. Furthermore, MVPA results reading literature in L1 seems to provide a more differentiated emotional experience. Results of the present thesis supported the emotion potential of word recognition, fiction feelings, and the world knowledge violation in the neurocognitive poetics model. Furthermore, the salience, extended language, and ToM networks are extensively involved in the emotion processing in literary reading. Future studies on emotion processing in literary reading will benefit from this dissertation to develop more specific neuroscientific hypotheses on the causal relationships and interactions between different neural networks with more sophisticated methods, potentially applying such approaches to cross- linguistic/cultural studies.

Lesen involviert komplexe, höhere kognitive Prozesse, welche Grundlage sind für die Übermittlung von Sinngehalt, Gefühl, klanglicher Färbung und Aussageabsicht des Urhebers und andererseits Gefühle von ästhetischem Genuss und Wertschätzung auf Seiten des Lesers hervorrufen, welche der menschlichen Natur zu eigen sind. Dessen ungeachtet sind neurokognitive Grundlagen der Verarbeitung affektiver Information beim literarischen Lesen bisher kaum verstanden. Diese Dissertation befasst sich mit der Untersuchung neuronaler Mechanismen, welche die Grundlage bilden für die Verarbeitung des affektiven Gehalts literarischer Texte. Das Modell neurokognitiver Poetik literarischen Lesens von Jacobs (2011, 2014) soll dem Autor dabei als theoretischer Rahmen dienen aus dem heraus Hypothesen abgeleitet und kritische Kernannahmen des Modells getestet werden können. Hierbei fokussiert die vorliegende Arbeit auf Ebenen von lexikalischer, inter-lexikalischer sowie supra-lexikalischer Information. Es wurde eine fMRT-Studie durchgeführt, in welcher 120 Textpassagen der Harry Potter Buchreihe von Probanden gelesen wurden und welche nach drei Faktoren orthogonal manipuliert worden waren: Emotion, Übernatürlichkeit sowie Sprache (L1 und L2). Kapitel 2 widmet sich dem affektiven Gehalt einzelner Wörter. Ergebnisse zeigen signifikante Korrelationen zwischen affektiven lexikalischen Variablen, Ratings der Textabschnitte und Aktivation in Hirnregionen welche in Verbindung gebracht werden mit Emotion, der Erzeugung von Situationsmodellen, multimodaler semantischer Integration sowie Theory of Mind. Basierend hierauf wird postuliert, dass sich der affektive Gehalt von Texten vorhersagen lässt mittels lexikalischer sowie inter-lexikalischer affektiver Variablen. Kapitel 3 untersucht die neuronalen Korrelate immersiver Leseerfahrung. Ratings von Immersion waren signifikant höher für furcht-induzierende gegenüber neutralen Textpassagen. Aktivation im mittleren Zingulum korreliert stärker mit Ratings von Immersion in furcht-induzierenden Textabschnitten. Die Ergebnisse legen nahe, dass negativ konnotierte Inhalte ein affektives Empathienetzwerk aktivieren und so immersive Leseerfahrung fördern. Kapitel 4 befasst sich mit Effekten der Verletzung von Weltwissen im Zusammenhang mit dem Aufbau eines Situationsmodells. Leser werteten Textabschnitte der Versuchsbedingung „übernatürlich“ deutlich höher auf den Skalen „Übernatürlichkeit“, „Überraschung“ und „Lesegenuss“. Neuronale Korrelate des Lesens übernatürlicher gegenüber neutraler Inhalte beziehen sich auf Netzwerke zur Integration von Weltwissen, das Salienznetzwerk, Verarbeitung affektiver Information sowie Aufmerksamkeit. Schließlich wurde die Frage untersucht, ob sich quantitative oder qualitative Unterschiede in der neuronalen Verarbeitung ergeben in Abhängigkeit von der Sprache (L1 oder L2) in welcher die Texte präsentiert wurden. Verhaltensdaten sowie fMRT-Daten zeigten stärker wahrgenommenen Affekt in L1 gegenüber L2. Des Weiteren legt eine MVPA differenziertere affektive Verarbeitung bei Präsentation in L1 nahe. Die Ergebnisse unterstützen die These hohen affektiven Potentials im Zusammenhang mit Worterkennung, Quasi-Gefühlen und Verletzung von Weltwissen im Rahmen des Modells neurokognitiver Poetik. Darüber hinaus sind Netzwerke der Salienz, Sprache und Theory of Mind stark involviert in die Verarbeitung affektiver Information im Rahmen des literarischen Lesens. Zukünftige Studien zur Verarbeitung affektiver Information im Rahmen des literarischen Lesens werden von den vorliegenden Ergebnissen profitieren und spezifischere neurowissenschaftliche Hypothesen bzgl. kausaler Beziehungen und Interaktion unterschiedlicher neuronaler Netzwerke auf Basis elaborierterer Methoden ableiten können. Wünschenswert zur weiteren Validierung wären darüber hinaus sprach- bzw. kulturvergleichende Studien.