Affective and esthetic processes in reading: a neurocognitive perspective

Abstract

A number of people across societies frequently practice and enjoy reading for pure pleasure and/or because reading provides them a multifaceted emotional experience (Oatley, 1994). It is thus quite surprising that psychology - while offering elaborated models on visual word recognition (Coltheart et al., 2001; Grainger and Jacobs, 1996; McClelland and Rumelhart, 1981; Seidenberg and McClelland, 1989) and sentence and text comprehension (Friederici, 2002; Graesser et al., 1994; Kintsch and Dijk, 1978) - has little to nothing to say on affective and esthetic processes in reading. A body of evidence has accumulated that highlights the role of affect in language processing (Briesemeister et al., 2011a; Citron, 2012; Silva et al., 2012; Võ et al., 2009, 2006). Likewise, despite growing interest in the investigation of esthetic judgments, experimental neurocognitive studies are available mainly for the domains of visual art perception, physical attractiveness, and music. The model of Jacobs (2011) on literary reading is currently the only example of a model that integrates behavioral results stemming from empirical studies of literature with a philosophical perspective and expertise on the functioning of the human brain. However, most of the postulates from this innovative model have not yet been experimentally tested. The main goal of this thesis was to test the central assumption of the model of literary reading, that literary reading is constituted by an alternation between two complementary modes of reading: (a) A mode of automatic “background reading” is described as reading expected, literal text, which mainly involves neuronal activity in structures in the fronto-temporal part of the left brain hemisphere. (b) A mode of “foreground reading” is proposed to take over when the reader encounters words or passages that are difficult to process and rather unexpected. Foreground reading was supposed to be rather lateralized to the right brain hemisphere. To investigate the mechanisms of “foreground reading” in this dissertation project, I performed a meta-analysis of the neural correlates of processing figurative language, conducted an fMRI experiment on semantic foregrounding and in a series of ratings and behavioral experiments I investigated effects of phonological and prosodic foregrounding with rhyme and meter. Through a quantitative meta-analysis consistent differences between reading figurative and literal language were identified, however, no signs of lateralization were observed. In the fMRI experiment reported in Chapter 3 and 4 foregrounding was operationalized by varying the degree of predictability of single words in the context of familiar proverbs (Bohrn et al., 2012b). Inserting an unexpected word in a familiar proverb resulted in activation of the bilateral IFG and inferior occipital gyri (IOG), indicating that foregrounding elicits attention shifts to the foregrounded words. The results from the meta-analysis as well as from the proverbs- experiment imply that a mode of foreground reading is characterized by enhanced attention and stronger involvement of semantic regions, as text becomes more difficult to process. A parametric analysis of the data from the proverb-experiment nevertheless suggested that spontaneous esthetic evaluation of text takes place even during silent reading in the lack of an explicit esthetic judgment task. This thesis comes up with the conclusion that rhetoric and poetic features of language (that are by no means limited to the narrow context of poetry and literature) influence the reading process and deserve much more attention from a psychological perspective than they have received so far.

Quer durch alle Gesellschaften gibt es Menschen, die zum puren Vergnügen lesen, bzw. weil sie durch das Lesen facettenreiche emotionale Erfahrungen machen können (Oatley, 1994). Angesichts dessen ist es verwunderlich, dass die Psychologie zwar überelaborierte Modelle der visuellen Worterkennung (Coltheart et al., 2001; Grainger and Jacobs, 1996; McClelland and Rumelhart, 1981; Seidenberg and McClelland, 1989) und des Satz- und Textverständnisses (Friederici, 2002; Graesser et al., 1994; Kintsch and Dijk, 1978) verfügt, jedoch wenig bis gar nichts über affektive und ästhetische Prozesse beim Lesen zu berichten weiß. In den letzten Jahren haben sich Befunde angesammelt, die den Einfluss affektiver Variablen auf den Leseprozess belegen (Briesemeister et al., 2011a; Citron, 2012; Silva et al., 2012; Võ et al., 2009, 2006). Parallel dazu ist das Interesse daran gestiegen, den Entstehungsprozess von ästhetischen Urteilen mithilfe experimenteller und neurowissenschaftlicher Methoden zu ergründen. Befunde aus experimenteller neurokognitiver Forschung liegen zurzeit vor allem für den Bereich der visuellen Kunstwahrnehmung, der physischen Attraktivität sowie der Musik vor. Das Modell des literarischen Lesens von Jacobs (2011) ist derzeit das einzige Modell, das Verhaltensdaten aus dem Bereich der empirischen Literaturwissenschaften mit einer literaturwissenschaftlich-philosophischen Perspektive und Expertise über die Arbeitsweise des menschlichen Gehirns vereint. Die meisten Annahmen dieses innovativen Modells wurden jedoch bisher noch nicht experimentell überprüft. Das Ziel dieser Dissertation war es deshalb, zunächst die zentrale Annahme des Modells des literarischen Lesens zu prüfen, die lautet, dass sich literarisches Lesen als Wechselspiel aus zwei komplementären Arten des Lesens ergibt: (a) Als ein relativ automatischer Modus des „Hintergrund-Lesens“ wird das Lesen von erwartbarem, wörtlichen Text verstanden, das sich vor allem in den fronto-temporalen Regionen der linken Gehirnhälfte abspielt. (b) Ein Modus des „Vordergrund-Lesens“ wird angenommen, sobald Leser auf ein Wort oder eine Passage treffen, die schwierig zu verarbeiten und relativ unerwartet ist. Es wurde erwartet, dass sich Vordergrund-Lesen tendenziell Strukturen der rechten Gehirnhälfte bedient. Um die Mechanismen des „Vordergrund-Lesens“ näher zu untersuchen, habe ich im Rahmen dieses Dissertationsprojekts eine Meta-Analyse zur neuronalen Verarbeitung figurativer Sprache, ein fMRT-Experiment zur Verarbeitung semantischer Hervorhebungen und eine Serie an Ratings und Verhaltensexperimenten zu nicht-semantischen Formeffekten am Beispiel Reim und Metrum durchgeführt. Mithilfe einer quantitativen Meta-Analyse wurden unterscheidbare Netzwerke für das Lesen von figurativer und wörtlicher Sprache identifiziert. Allerdings ergaben sich keine Hinweise auf Unterschiede in der Lateralisierung der Netzwerke. In dem fMRT-Experiment, das in Kapitel 3 und 4 berichtet wird, wurde „Vordergrund“ dadurch operationalisiert, dass der Grad an Vorhersagbarkeit eines Einzelwortes im Kontext eines bekannten Sprichworts variiert wurde (Bohrn et al., 2012b). Durch das Einfügen eines unerwarteten Wortes in ein bekanntes Sprichwort wurden die bilateralen IFG sowie die inferioren gyri occipitalis (IOG) aktiviert, was darauf schließen lässt, dass durch „foregrounding“ die Aufmerksamkeit auf das unerwartete Wort gelenkt wird. Die Ergebnisse aus Meta-Analyse und Sprichwort-Experiment implizieren, dass ein Modus des Vordergrund-Lesens durch erhöhte Aufmerksamkeit sowie stärkere Beteiligung von Gehirnregionen der Semantik-Verarbeitung charakterisiert ist, und einsetzt, sobald ein Text schwerer zu lesen wird. Eine parametrische Re-Analyse der Daten aus dem Sprichwort-Experiment zeigte außerdem, dass spontane ästhetische Evaluation auch beim leisen Lesen stattfindet, selbst wenn es keine explizite ästhetische Bewertungsaufgabe gibt. Die Kernaussage der vorliegenden Arbeit ist, dass rhetorische und poetische Merkmale von Sprache (die durchaus auch in der Alltagssprache verwendet werden und nicht auf den engen Kontext von Literatur und Poesie beschränkt sein müssen) den Leseprozess beeinflussen und deswegen in der psychologischen Forschung weitaus mehr Betrachtung verdienen, als ihnen bislang zuteil wird.