Establishing action-perception circuits as a neural basis for meaning-carrying linguistic symbols – the role of frontal speech motor areas and fronto- temporal connectivity

Abstract

This dissertation investigates how brain language models can explain the neural representation of phonological word forms and their function in speech comprehension. Action-perception theory of language provides a possible explanation based on Hebbian learning principles. In this perspective, word forms are thought to be represented by cell assemblies, or action-perception circuits (APCs), which are distributed across frontal and temporal cortices, as well as inferior parietal areas. These areas are referred to collectively as the perisylvian language areas. While it is generally acknowledged that the perisylvian language areas function as the core regions for language, considerable debate and open questions still exist regarding the precise role of the different perisylvian regions, and in particular concerning the role of long-distance connectivity within the perisylvian areas along the dorsal stream by way of the arcuate fasciculus (AF). Strong AF connectivity is present only in humans, but not in non-human primates, and therefore has been proposed as the specific substrate underlying human word learning abilities. However, a neurobiological explanation why AF connectivity is so important remains to be found. A neuroanatomically grounded and neurophysiologically plausible computational model simulating the emergence of phonological action- perception circuits was used to investigate this. Results suggest that the AF is critical for reverberating activity across the perisylvian cortex, which in turn functions as the substrate for verbal working memory. A further question is what the function of this auditory-motor link is for speech comprehension. One perspective claims that speech comprehension relies on a single lexical interface in temporal cortex, and that any influence of motor systems on speech processing is restricted to ‘artificial’ phonological tasks or particularly noisy listening conditions. In contrast, action-perception theory of language predicts that as a result of Hebbian-based distributed APCs, fronto-parietal systems, in particular motor systems, can take an additional causal role in speech comprehension. In line with this, there is compelling evidence for a contribution of fronto-parietal systems to speech comprehension, even in noise-free and passive tasks, as demonstrated by an extensive review of functional magnetic resonance imaging (fMRI) studies, especially recent ones employing multivariate pattern analysis (MVPA), as well as transcranial magnetic stimulation (TMS) studies. Specifically, the question whether motor systems causally contribute not only to phonological tasks using isolated, meaningless syllables, but also to comprehension of meaningful words, is addressed in a TMS study where phonemes are placed in the context of whole words, hence allowing them to serve their ‘normal’ function as meaning- discriminating units. In summary, the results of this dissertation demonstrate that the neural representation of word forms can be explained in terms of APCs distributed across perisylvian cortex. Strong long-distance connectivity between the perisylvian areas is an important prerequisite for building robust APCs, by enabling verbal working memory, which in turn is important both for word learning and language comprehension. The brain mechanisms for word learning and speech comprehension are thus widely distributed across the perisylvian areas and also crucially rely on long-distance structural connectivity between these areas.

Die vorliegende Arbeit stellt die Frage, wie neurobiologische Sprachmodelle die neuronale Repräsentation von Wörtern und die Funktion dieser Repräsentationen für Sprachverständnis erklären können. Die Handlungs- Wahrnehmungs-Theorie (engl. action perception theory) für Sprache stellt eine mögliche, auf Hebb’schen Lernprinzipien basierende Erklärung in Aussicht. In dieser Sichtweise werden Wörter durch Aktions-Perzeptions-Neuronenverbünde (APNVs) repräsentiert, welche über die frontalen und temporalen Hirnlappen sowie den inferioren Parietallappen verteilt sind. Zusammengefasst werden diese Areale auch als perisylvische Areale bezeichnet. Dass die perisylvischen Areale die Kernregionen für Sprachfunktion sind, ist zwar gemeinhin akzeptiert, beträchtliche Meinungsverschiedenheit und offene Fragen bestehen aber in Bezug auf die genaue Rolle der verschiedenen perisylvischen Regionen, und ferner in Bezug auf die Rolle von weitreichenden Verbindungen innerhalb der perisylvischen Areale durch den dorsalen Pfad, dessen direkte Verbindung durch ein starkes Bündel aus Nervenfasern, dem Fasciculus arcuatus (engl. arcuate fasciculus, AF) hergestellt wird. Besonders starke AF-Konnektivität besteht nur bei Menschen, nicht aber bei nicht-menschlichen Primaten; daher sieht man dies als mögliche Grundlage für die menschliche Fähigkeit, Wörter zu erlernen. Eine neurobiologische Erklärung, warum AF-Konnektivität so wichtig ist, steht jedoch noch aus. Um dieser Frage nachzugehen, wurde ein neuroanatomisch fundiertes und neurophysiologisch plausibles Computermodell benutzt, welches die Entstehung von phonologischen Aktions-Perzeptions- Schaltkreisen simuliert. Die Ergebnisse legen nahe, dass der AF entscheidend ist für das Entstehen von lang anhaltender, „nachhallender“ Aktivität im gesamten perisylvischen Kortex, was wiederum als neuronale Grundlage für phonologisches Arbeitsgedächtnis dient. Eine weitere Frage betrifft die Funktion dieser auditorisch-motorischen Verbindung entlang des dorsalen Pfades. Eine Sichtweise postuliert, dass Sprachverständnis auf einer „lexikalische Schnittstelle“ im Temporallappen basiert, und dass mögliche Einflüsse des motorischen Systems sich lediglich auf künstliche phonologische Aufgabenstellungen oder besonders geräuschvolle Hörumgebungen beschränken. Im Gegensatz hierzu sagt die Handlungs-Wahrnehmungs-Theorie der Sprache, dass aufgrund der APNVs, die durch Hebb’sches Lernen entstanden sind, fronto- parietale Hirnregionen, insbesondere motorische Regionen, eine zusätzliche kausale Rolle beim Sprachverständnis spielen können. Im Einklang damit konnten überzeugende Beweise dafür gefunden werden, dass fronto-parietale Hirnregionen zum Sprachverständnis beitragen, sogar ohne aktive Aufgabenstellung und in geräuschlosen Umgebungen. Dies konnte durch einen Überblick über Studien mit funktioneller Magnetresonanztomographie gezeigt werden, insbesondere durch neuere Studien, welche multivariate Analyse der Aktivitätsmuster benutzten, sowie zusätzlich durch Studien, die mit Hilfe der transkraniellen Magnetstimulation (TMS) durchgeführt wurden. Die spezifische Fragestellung, ob motorische Systeme eine kausale Rolle nicht nur auf phonologische Aufgaben mit isolierten, bedeutungslosen Silben ausüben, sondern auch auf das Verständnis bedeutungsvoller Wörter, wurde mit einer TMS-Studie untersucht, in der Phoneme im Kontext ganzer Wörter präsentiert wurden, sodass sie ihre „normale“ Rolle als bedeutungsunterscheidende Einheiten erfüllten. Zusammenfassend lässt sich sagen: die Ergebnisse dieser Dissertation legen dar, dass die neuronale Repräsentation von Wörtern durch Aktions-Perzeptions-Neuronenverbünde erklärt werden kann, welche über den gesamten perisylvischen Kortex verteilt sind. Eine starke direkte Verbindungsbahn dieser Areale durch den AF ist eine wichtige Voraussetzung, um starke APNVs zu bilden, indem phonologisches Arbeitsgedächtnis ermöglicht wird, was wiederum sowohl für das Erlernen als auch für das Verstehen von gesprochenen Wörtern wichtig ist. Die Hirnmechanismen für das Erlenen und Verstehen gesprochener Sprache sind also weit über die perisylvischen Areale verteilt und basieren außerdem entscheidend auf direkten Nervenfaserverbindungen zwischen diesen Arealen.