Neural Network Dynamics During Socio-Emotional Cue-Integration

Abstract

Everyday social interactions require a constant integration of external socio- emotional cues in order to adequately react and adapt to conspecifics, which is fundamental for engaging in fruitful collaborations and joyful interactions. The present dissertation thesis aims to elucidate the underlying neural integration mechanism by testing the modulatory impact of different cues from separate modalities (visual, auditory and contextual) on network dynamics. For this purpose, naturalistic stimuli, i.e. film clips from feature films, were presented to healthy study participants in the fMRI scanner while the film clips were systematically manipulated with regard to their combination with music and written context information. Brain networks were investigated by means of advanced connectivity analysis, namely dynamic causal modeling (DCM) in combination with Bayesian model selections (BMS) for measures of effective connectivity, indicating a directed change of connectivity, and seed-based resting state functional connectivity (RSFC) for measures of functional connectivity (undirected connectivity). Three studies investigated the impact of the cue configuration on socio-emotional processing, specifically the elicitation of discrete emotions and empathic concern for the movie characters as well as the use of experiences from one’s past to infer other people’s mental state, i.e. episodic simulation. A fourth project commented on the Quartet Theory of Human Emotions (QT) and discussed dysfunctional cue-integration as biomarker for autism spectrum disorder (ASD), a psychiatric disease with impairments in socio-emotional processing preceding the film clips. Study 1 focused on the modulatory impact of music and presented kissing scenes from romantic comedies either with happy music, sad music or without music. Study 2 not only focused on the modulatory impact of music but also on the modulatory impact of context information. For this purpose, empathic film clips depicting close-ups of sorrowful movie characters were presented either with sad music or without music and either with a sad, a neutral or without written context information. Study 3 applied the same task as Study 2 and additionally measured brain activity during rest in the same set of participants. Study 3 investigated the connectivity of two brain regions, which are key for different memory types, the temporal pole (TP) for semantic memory (SM) and the hippocampus (HP) for AEM, assuming an integration of both memory systems as an underlying mechanism for episodic simulation, triggered here by context information. Study 1 and Study 2 demonstrated the strong power of music in emotion elicitation. Music significantly increased the participant’s emotion towards the timbre expressed by the music (sad or happy music accompanying the kissing scenes); a co-presentation of sad music also increased the participant’s empathic concern for the movie characters. Connectivity analyses have shown that the anterior superior temporal gyrus (aSTG) integrates multisensory information and suppresses neural propagation of preprocessed visual information (in the fusiform gyrus (FG)) to the amygdala, which was more pronounced during sad music. Study 2 demonstrated the significant impact of sad written context information for the participants’ empathic concern. An emotion effect of context was found in the temporal pole (TP), a brain region involved in domain-general semantic and socio-emotional processing. Connectivity analyses revealed that context information induced top-down modulations of the TP to lower-level processing within the ventral visual stream (FG), which were moreover significantly increased by music. Study 3 discovered interactions between neural structures implicated in different memory types (SM and AEM) as a pillar for mnemonic integration and episodic simulation. Evidence for inter-hemispheric connectivity from left aHP to the right TP was consistently provided for two different functional states (rest and task). These findings were used to propose a tentative neurobiological model of socio-emotional cue-integration. The model suggests several neural integration mechanisms for socio-emotional cues, some of which were supported by the results of the present thesis. We showed that convergence regions (aSTG and TP) integrate multisensory information on different hierarchical levels and exert neuromodulatory influence. They gated the connectivity of brain regions involved in emotion processing (FG and AMY) and top-down modulated activity in modality specific cortices (FG) as a function of task demands. This is consistent with TP’s role as a semantic hub and the concept of top-down facilitation during object recognition. In addition, mnemonic integration enables episodic simulation and relies on effective connectivity between functional and lateral specialized brain regions, which are key for different memory types. In summary, this dissertation provides strong evidence for the modulatory impact of socio- emotional cues on experienced emotions and underlying network dynamics. It demonstrates the power of music in emotion elicitation, redefines the role of the TP in socio-emotional cognition and highlights the importance of memory processes for social cognition. Emerging mechanisms were integrated in a neurobiological model providing the framework for understanding cue- integration and generating research questions, specifically for psychiatric disorders with impairments in the social domain, which might be conceived as neurocognitive integration disorders.

Soziale Interaktionen sind für die Lebenswelt des Menschen von elementarer Bedeutung. Während dieser werden permanent externe sozio-emotionale Informationen, wie z.B. Gesichter und Dialoge im Gehirn integriert. Eine effiziente Integration ist die Voraussetzung dafür, sich auf den Interaktionsparter einstellen zu können und sich angemessen zu verhalten. Diese Dissertation untersucht den modulierenden Einfluss von Informationen (Cues) aus unterschiedlichen Modalitäten (visuell, auditorisch, kontextuell) auf neuronale Netzwerke. Dazu wurden naturalistische Stimuli, Filmclips aus Spielfilmen, gesunden Probanden im funktionellen Magnetresonanztomographen gezeigt. Die Stimuli wurden hinsichtlich ihrer Komposition systematisch manipuliert und entweder mit oder ohne Musik und mit oder ohne Kontext- Informationen präsentiert. Mittels anspruchsvoller Konnektivitätsanalysen wurde die Modulation neuronaler Netzwerk-Dynamiken durch unterschiedliche Cue- Konfigurationen untersucht. Dynamic causal modeling (DCM) hat gerichtete, effektive Konnektivität in Abhängigkeit der Cues getestet. Funktionelle (ungerichtete) Konnektivithat wurde im sogenannten resting state untersucht. Dabei folgten die Probanden ihren eigenen Gedanken ohne externe Stimulation. Im Rahmen der Dissertation haben vier Studien den Einfluss der Cues auf sozio- emotionale Prozesse erforscht. Im Fokus standen dabei diskrete Emotionen wie etwa Trauer und Freude sowie empathische Reaktionen in Bezug auf die Filmdarsteller. Außerdem wurde episodische Simulation untersucht. Diese beschreibt den Einfluss des Erinnerns an eigene Erlebnisse auf das Vermögen sich in die Filmdarsteller hinein zu versetzen. Zusätzlich wurde in einem Kommentar zu einer Emotionstheorie, der Quartet Theorie (QT), eine mögliche dysfunktionale Integration von Cues als Biomarker für Autismus, einer psychiatrischen Erkrankung mit Einschränkungen im sozialen und emotionalen Erleben, diskutiert. Die erste Studie hat den modulierenden Einfluss von Musik untersucht und den Probanden Kussszenen aus Romantic Comedies entweder mit trauriger, fröhlicher oder ohne Musik präsentiert. Die zweite Studie hat nicht nur den modulatorischen Einfluss von Musik untersucht, sondern auch den eines narrativen Kontextes, der in Form kleiner Geschichten vor Empathieszenen präsentiert wurde. Empathieszenen haben einen Filmdarsteller in Frontalansicht in einer psychisch belastenden Situation gezeigt. Diese wurden mit oder ohne traurige Musik, und mit oder ohne einen traurigen oder neutralen Kontext präsentiert. Der dritten Studie liegt der gleiche Versuchsaufbau zugrunde, nur wurde zusätzlich noch die Gehirnaktivität derselben Probanden im resting state gemessen. Ziel war es hierbei, die Konnektivität zweier Regionen zu untersuchen, die auf unterschiedliche Gedächtnistypen spezialisiert sind. Der Temporalpol (TP) ist für das semantische Gedächtnis (SM) spezialisiert und der Hippokampus (HP) für das autobiographische episodische Gedächtnis (AEM). Dabei wurde angenommen, dass sich die Konnektivität beider Regionen verändert wenn die Probanden episodisch simulieren, wofür die Integration beider Gedächtnistypen erforderlich ist. In Studie 3 wurde angenommen, dass episodische Simulation durch Kontext-Informationen ausgelöst wird. Die ersten beiden Studien haben die Macht von Musik, Emotionen auszulösen, bekräftigt. Je nach Musik haben die Probanden die Kussszenen als signifikant fröhlicher oder trauriger erlebt. Musik hat ebenfalls dazu geführt, dass die Probanden signifikant stärkere Empathie für den Filmdarsteller empfunden haben. Auf neuronalem Level haben Konnektivitätsanalysen gezeigt, dass der anteriore superiore Gyrus (aSTG) multisensorische Informationen integriert und die Konnektivität vom Fusiformen Gyrus (FG) zu der Amygdala beeinflusst. Dieser Effekt war emotionsspezifisch, und zwar stärker bei den Kussszenen mit trauriger Musik als bei denen mit fröhlicher Musik. Die Kontext-Informationen hatten auch in der zweiten Studie einen signifikanten Einfluss auf das Emphatieempfinden der Probanden. Dieser Emotionseffekt war mit Aktivität im TP assoziiert, einer Gehirnregion, die semantische Informationen aus allen sensorischen Modalitäten integriert und eine wichtige Rolle für sozio- emotionales Verarbeiten spielt. Ausserdem hat der TP frühere Verarbeitungsstufen des ventralen visuellen Pfades, genauer im FG, top-down moduliert wenn Kontext-Informationen vor den Empathieclips präsentiert wurden. Dieser top-down Einfluss wurde durch Musik zusätzlich verstärkt. Die dritte Studie hat gezeigt, dass Gehirnregionen, die auf unterschiedliche Gedächtnistypen spezialisiert sind (SM und AEM), während episodischer Simulation miteinander interagieren. Interhemisphärische Konnektivität vom linken aHP zum rechten TP wurde bei episodischer Simulation – sowohl während der Präsentation der Empathieszenen als auch während selbst induzierter Kognition (resting state) - übereinstimmend gefunden. Die Ergebnisse der Studien wurden in einem vorläufigen Neurobiologischen Modell sozio-emotionaler Cue-Integration zusammengefasst. Das Modell beinhaltet mehrere neuronale Integrationsmechanismen, die durch die Dissertation belegt wurden. Es wurde gezeigt, dass convergence regions (aSTG und TP) multisensorische Informationen auf unterschiedlichen hierarchischen Levels integrieren und neuromodulatorischen Einfluss ausüben: Sie kontrollieren einerseits die Konnektivität zwischen zwei anderen Regionen, die in Emotionsverarbeitung involviert sind (FG und AMY) (gating effects) und top-down modulieren Verarbeitung im ventralen visuellen Pfad (FG). Dies ist in Einklang mit der Funktion des TP als semantischer Hub und top-down facilitation models. Darüber hinaus wurde eine laterale Spezialisierung von Gehirnregionen für unterschiedliche Gedächtnis-Subytpen gezeigt, was die Bedeutung interhemisphärischer Integration für komplexe soziale Kognition hervorhebt. Zusammenfassend zeigt die vorliegende Dissertation den modulatorischen Einfluss sozio-emotionaler Cues auf die Emotionsverarbeitung einschießlich neuronaler Korrelate, die sich in Veränderungen von Netzwerkdynamiken ausdrücken. Sie unterstreicht die Kraft der Musik Emotionen auszulösen, spezifiziert die Rolle des Temporalpols in sozio-emotionaler Kognition und hebt die Bedeutung von Gedächtnisprozessen für soziale Prozesse hervor. Die gefundenen Integrationsmechanismen führen zu einem neurobiologischen Modell, das einen möglichen Erklärungsraum zum Verständnis neurokognitiver Integration darstellt. Das Modell eignet sich, zukünftige Forschungsfragen zu formulieren, insbesondere hinsichtlich psychiatrischer Störungen, die Beeinträchtigungen im sozialen und emotionalen Erleben und Verhalten zeigen, wie etwa Depressionen, Persönlichkeitsstörungen oder Schizophrenie. Möglicherweise können diese als Störungen neurokognitiver Integration mit dysfunktionalen Integrationsmechanismen verstanden werden.