An electrophysiological investigation of construction processing in the healthy, aphasic, and modelled human brain

Abstract

Language sets humans apart from other animals. The human brain can learn and store a vast number of arbitrary meaningful symbols and combine them into a virtually infinite number of possible sequences. Recent neurophysiological research on language processing offers new insights into biological mechanisms underpinning storage and combination in the brain and recent linguistic approaches, like construction grammar, assume that language is the result of human cognitive abilities. Joining the two approaches, the neuroscientific and the constructionist one, may contribute to a better understanding of human language. On this basis, the present work addresses processing of constructions, defined as form-meaning pairs of varying degrees of complexity, including beyond single-word level, by way of electrophysiological methods and techniques (electroencephalography, EEG; Event related potentials, ERPs; time- frequency analysis of oscillatory brain activity). The neurobiological background is the cell assembly theory of language, which provides an explanation at the cellular level for electrophysiological evidence on language processing and is consistent with the emergence of constructions in the brain as a result of cognitive principles underpinning language. Assuming that linguistic information is stored and combined in the brain in form of groups of neurons bound together by links of different strength leads to some key predictions. The first is that retrieval of stored information and combination thereof must occur from the very beginning of language understanding in a parallel and highly integrated fashion. The second is that changes in construction processing in the brain as indexed by electrophysiological methods, i.e. ERPs, must be evident in case of cell assembly consolidation, like, for instance, during effective treatment of patients suffering from post stroke aphasia. The third is that brain patterns of activity which reflect language processing in the human brain must be replicated in biologically realistic computational models of language networks implementing the same biological principles that allow for cell assembly formation, and thus possibly for the emergence of constructions as well. These predictions were tested here in three different studies. In the first study, ERPs were recorded from healthy subjects presented with two-word constructions that were either 1) well-formed; 2) “unstored”, if they contained a pseudo- morpheme, thus appearing partly senseless like “jabberwocky” speech; 3) “ill- combined”, if violated subject-verb agreement rules; or 4) double violations, if they included both types of errors. The mismatch negativity (MMN), an early automatic language-related ERP component, showed interactions of storage- related and combinatorial deviance by 70 to 210 ms after the onset of the phrase-final syllable that disambiguated the strings. These results support early, simultaneous, and interactive retrieval and combination of linguistic information in construction processing, the matching the first of the three predictions formulated above. In the second study, MMN responses to two-word constructions were recorded before and after intensive language therapy in patients with chronic post stroke aphasia (PSA). Constructions were in this case either well-formed and meaningful, or ill-combined, if they violated pronoun-verb agreement, or ‘jabberwocky’ constructions, if they included an unstored pseudoword. Clinical language testing with the Aachen Aphasia Test (AAT) showed behavioural improvement of the language function, which was accompanied neurophysiologically by enhanced MMN responses. MMNs to combinatorially correct and stored-item-containing mini-constructions and to “jabberwocky” sentences significantly increased after therapy. In contrast, no therapy-related changes in MMN responses to ill-combined constructions violating agreement were found. The MMN increases can be explained with neuroplastic changes related to consolidation of the cell assembly representations of constructions, also for ‘jabberwocky’ sentences, whose combinatorial structure was intact. These results indicate the restitution of construction processing in the brain by way of cell assembly consolidation thanks to therapeutic approaches driven by neurobiological principles of functioning of the human cortex. They also indicate, together with pre- existing evidence, that combinatorial mechanisms underlying morphosyntax are more resistant to neurorehabilitation efforts. In the third study, data from a neural-network architecture that replicated physiological (i.e. associative hebbian and anti-hebbian learning) and anatomical (i.e. connectivity) features of primary, secondary and associative frontal, temporal, and occipital areas of the human cortex were analysed with Morlet wavelet time-frequency analysis. The instances of the network were previously successfully trained for simulating learning of simple constructions and the responses to the presentation of learned and novel, unfamiliar items were subsequently compared. The results revealed stronger high-frequency spectral power for the learned constructions, closely reflecting electrophysiological results from human studies. For the first time high-frequency oscillatory phenomena which index construction processing emerged in a biologically realistic, neurocomputational model of the cortical areas known to be relevant for language. The main findings (i) that the behaviour of the neuronal network, and, in particular, its patterns of oscillations emerging to stimulus words, replicated earlier experimental results and (ii) the observed patterns of oscillations in the network were mechanistically related to the action of distributed cell assemblies, provide strong support for the cell assembly theory of language. Taken together, the results of the three different studies presented here draw a coherent picture joining constructionist approaches with neuroscientific evidence on language processing and indicate that constructions are grounded in the brain in form of cell assemblies that arise thanks to storage-related and combinatorial mechanisms, which appear to serve fundamental and distinct functions.

Sprache unterscheidet den Mensch von anderen Tieren. Das menschliche Gehirn kann eine große Menge willkürlicher sinnvoller Symbole erlernen, speichern und zu einer nahezu unbegrenzten Anzahl möglicher Sequenzen kombinieren. Elektrophysiologische Forschung zur Sprachverarbeitung liefert neue Einblicke in die biologischen Mechanismen, die Speicherung und Kombination sprachlicher Inhalte unterstützen. Zugleich beruhen moderne linguistische Ansätze – wie etwa die Construction Grammar (Konstruktionsgrammatik) – auf der Annahme, Sprache sei das Ergebnis menschlicher kognitiver Fähigkeiten. Die Integration dieser neurowissenschaftlichen und konstruktivistischen Ansätze kann dazu beitragen, ein besseres Verständnis der menschlichen Sprache zu entwickeln. Die vorliegende Arbeit befasst sich mittels elektrophysiologischer Methoden (Elektroenzephalographie, EEG; ereigniskorrelierte Potentiale, EKP; Zeit- Frequenz-Analyse der oszillatorischen Hirnaktivität) mit der neuronalen Verarbeitung von Konstruktionen, die als Paare von Form und Bedeutung verschiedener Komplexitätsgrade auch über die Einzelwortebene definiert sind. Der neurobiologische Hintergrund ist die sogenannte Cell-Assembly-Theorie, die eine Erklärung auf zellulärer Ebene für elektrophysiologische Evidenz zur Sprachverarbeitung anbietet. Die Theorie ist darüber hinaus auch konsistent mit der Entstehung von Konstruktionen aus kognitiven Grundsätzen, die Sprache ermöglichen. Unter der Annahme, dass linguistische Informationen gespeichert und kombiniert werden durch Gruppen von Neuronen, die wiederum durch Verbindungen unterschiedlicher Stärke miteinander im Austausch sind, führt dies zu drei wesentlichen Vorhersagen. Erstens: Der Abruf gespeicherter Informationen und ihre Kombination aus dem Beginn des Sprachverstehens müssen parallel und hochintegriert erfolgen. Zweitens: Änderungen in der Konstruktionsverarbeitung, die sich in Ergebnissen elektrophysiologischer Untersuchungen wie EKPs widerspiegeln, müssen mit einer Konsolidierung der Zellzusammensetzung einhergehen, so etwa bei der wirksamen Behandlung von Patienten mit Aphasie nach einem Schlaganfall. Drittens: Muster neuronaler Aktivität, die der Sprachverarbeitung im menschlichen Gehirn zugrunde liegen, müssen in biologisch-realistisch Computermodellen von Sprachnetzwerken repliziert werden können; dabei werden die gleichen biologischen Prinzipien implementiert, die eine Bildung von Zellverbänden und damit gegebenenfalls auch die Entstehung von Konstruktionen ermöglichen. Diese Vorhersagen wurden in drei verschiedenen Studien getestet. In der ersten Studie wurden EKPs gesunder Probanden auf der Grundlage von Zweiwortkonstruktionen untersucht; diese waren entweder (1) richtig gebildet, (2) „ungespeichert“, wenn ein Pseudomorphem enthalten war, (3) „falsch kombiniert“, wenn die Subjekt-Verb- Kongruenz verletzt wurde, oder (4) „doppelt inkonsistent“, wenn beide Arten von Fehlern vorlagen. Die Mismatch Negativity (MMN), eine frühe und automatische sprachrelevante ERP-Komponente, zeigte zwischen 70 und 210 ms nach dem Einsetzen der Phrasenendsilbe, die eine Konstruktion eindeutig machte, eine Interaktion der speicherbezogenen und kombinatorischen Abweichung. Diese Ergebnisse stützen die Hypothese, dass der Abruf und die Kombination sprachlicher Informationen in der Konstruktionsverarbeitung früh, parallel und interaktiv geschehen; die Daten stimmen folglich überein mit der ersten der drei oben formulierten Vorhersagen. In der zweiten Studie wurden MMN-Korrelate bei Zweiwortkonstruktionen vor und nach intensiver Sprachtherapie bei Personen mit chronischer Aphasie nach einem Schlaganfall aufgezeichnet. Die Konstruktionen waren entweder (1) richtig gebildet und bedeutungsvoll, (2) falsch kombiniert, wenn sie die Pronomen-Verb-Kongruenz verletzten, oder (3) sinnfreie Konstruktionen, wenn sie ein „ungespeichertes“ Pseudowort enthielten. Eine klinische Verlaufsdiagnostik mit dem Aachener Aphasietest (AAT) zeigte eine Verbesserung der Sprachfunktionen, die neurophysiologisch mit gesteigerten MMN-Antworten einherging. MMN-Korrelate bei Konstruktionen, die kombinatorisch korrekt waren und „gespeicherte“ Wörter enthielten oder die aus sinnfreien Konstruktionen bestanden, erhöhten sich nach der Therapie signifikant. Im Gegensatz dazu wurden bei falsch kombinierten Konstruktionen keine therapiebezogenen Veränderungen der MMN- Antworten beobachtet. Die MMN-Zunahmen lassen sich mit neuroplastischen Veränderungen im Zusammenhang mit der Konsolidierung der Cell-Assembly- Repräsentation von Konstruktionen im menschlichen Kortex erklären; dies gilt auch für sinnfreie Sätze, deren kombinatorische Struktur intakt war. Die Ergebnisse der zweiten Studie belegen die Wiederherstellbarkeit der Konstruktionsverarbeitung durch therapeutische Ansätze im Einklang mit neurobiologischen Funktionsprinzipien des menschlichen Kortex. In der dritten Studie wurden Daten aus einem modellierten neuronalen Netzwerk mit Morlet- Wavelet-Zeit-Frequenz-Analyse ausgewertet. Das Netzwerk replizierte dabei Eigenschaften primärer, sekundärer und assoziativer frontaler, temporaler und okzipitaler Areale des menschlichen Kortex. Zu diesen Eigenschaften zählen sowohl physiologische (assoziatives hebbsches und anti-hebbsches Lernen) als auch neuroanatomische (Konnektivität). Die Instanzen des neuronalen Netzwerks wurden erst trainiert, um das Lernens einfacher Konstruktionen zu simulieren. Daraufhin wurde die Netzwerkaktivität abhängig von der Präsentation gelernter oder nichtgelernter simulierter Konstruktionen verglichen. Die Ergebnisse zeigten eine stärkere oszillatorische Hochfrequenzaktivität für gelernte Konstruktionen und waren deckungsgleich mit elektrophysiologischen Forschungsdaten am Menschen. Erstmalig ließen sich in einem biologisch- realistischen neuronalen Computermodell sprachrelevanter Hirnareale oszillatorische Phänomene beobachten, die auf Konstruktionsverfahren beruhen. Insgesamt zeichnen die Ergebnisse der hier vorgestellten drei Studien ein kohärentes Bild, das neurowissenschaftliche und konstruktivistische Ansätze zur Sprachverarbeitung verbindet. Zudem bekräftigen die Daten die Annahme, dass Konstruktionen durch speicherbezogene und kombinatorische Mechanismen neuronaler Zellverbände entstehen, die jeweils grundlegende und unterschiedliche Funktionen erfüllen.