Setting letters and words into context: An associative read-out model

Abstract

This dissertation investigated visual word recognition based on the theoretical framework of interactive activation models (IAMs, McClelland & Rumelhart, 1981). Study 1 provided sub-lexical frequency measures for German, which were used as control variables in the Studies 2, 4, and 5. Study 2 was the first of three studies using the lexical decision task. The optical imaging results showed that words elicit greater neural responses than nonwords in the left inferior parietal gyrus, which suggests a role of this region during the integration of orthographic, phonological and semantic representations. Greater activations for word stimuli in the superior frontal gyrus can be interpreted in terms of decision-related processes during visual word recognition. Moreover, rare words elicited greater neural activation than common words in the left inferior frontal gyrus. This word frequency effect suggests a role of this region during the selection of a semantic representation from many co-activated semantic candidates. Study 3 used an IAM to calculate the conflicts between orthographic representations, and set this model-generated measure of lexical competition into a direct relation with an event-related potentials (ERP) negativity between 400 and 600 ms post- stimulus. The electric sources of the ERP-conflict effects were attributed to the anterior cingulate cortex. The model accounted for a significant portion of item-level variance in reaction times, error rates and mean amplitudes. Study 4 showed that positive and high-arousal negative words elicit response facilitation and an early ERP effect between 80 and 120 ms post-stimulus, when compared to neutral words. The ERP-effect in high-arousal negative words was source-localized in the left fusiform and middle temporal gyri. The latter finding may be explained by the larger amount of associative relations of affective words. Study 5 captures associative relations between words for IAMs. Two words were defined as 'associated', when they co-occur significantly often together in the sentences of a large corpus. This corresponds to Hebbian learning: Items being repeatedly presented together are likely to be associated. The results of a recognition memory task showed that learned and non-learned words elicit greater 'yes' response rates when they provide a larger amount of associated items in the stimulus set. The co-occurrence statistics were further used to implement associations between words in a contextual representation layer. This IAM-model predicted which word is recognized with which probability on an item-level. Because many of the most strongly co-activated words revealed a semantic relation to the presented word (e.g., synonymy), the resulting 'Associative Read-Out Model' is the first IAM with a fully implemented semantic representation layer.

Diese Dissertation untersucht die visuelle Worterkennung auf der theoretischen Grundlage des 'Interactive Activation Models' (IAM, McClelland und Rumelhart, 1981). Studie 1 stellt sub-lexikalische Häufigkeitsmaße für das Deutsche zur Verfügung: Orthographische und phonologische Silbenfrequenzen, Bigramm- Biphonemfrequenzen, sowie Buchstaben- und Phonemfrequenzen. Solche Maße dienen in den Studien 2, 4, und 5 als Kontroll-Variablen. Studie 2 ist die erste von drei Studien, welche die visuelle Worterkennung mit der lexikalischen Entscheidungsaufgabe untersucht. Die optischen Bildgebungsbefunde zeigen, dass Wörter höhere neuronale Aktivierungen im linken inferioren Parietallappen auslösen, was auf die Rolle dieser Region bei der Integration orthographischer, phonologischer und semantischer Repräsentationen hinweist. Die höheren Aktivierungen für Wörter im superioren Frontallappen weisen auf die entscheidungsrelevanten Prozesse der Worterkennung hin. Seltene Wörter lösten höhere Aktivierungen im linken inferioren Frontallappen im Vergleich zu häufigen Wörtern aus, was die Beteiligung dieser Region bei der Auswahl einer semantischen Repräsentation aus verschiedenen konfligierenden Kandidaten nahelegt. Studie 3 setzt simulierte Konflikte zwischen orthographischen Repräsentationen bei der Verarbeitung von Nichtwörtern in eine direkte Beziehung zu einer Negativierung des ereigniskorrelierten Potentials (EKP) zwischen 400 und 600 ms. Die Quellen dieser Aktivierungen wurden im anterioren cingulären Cortex verortet. Das Modell klärte signifikante Varianzanteile für Reaktionszeiten, Fehlerraten und EKP-Negativierungen auf. Studie 4 zeigt, dass positive und hocherregend negative Wörter Antworterleichterungen im Vergleich zu neutralen Wörtern und eine frühen EKP-Negativierung zwischen 80 und 120 ms nach Reizdarbietung auslösen. Der EKP-Effekt hocherregend negativer Wörter konnte im linken fusiformen und im mittleren temporalen Gyrus verortet werden, was dafür spricht, dass affektiv konnotierte Wörter mehr assoziativ verknüpfte Wörter aufweisen. Studie 5 erschließt assoziative Verknüpfungen zwischen Wörtern für IAMs. Zwei Wörter wurden als 'assoziiert' definiert, wenn sie in den Sätzen eines großen Satzkorpus signifikant häufig gemeinsam auftreten. Dies entspricht der Hebb'schen Lernregel: Wörter, die häufig gemeinsam auftreten, sind wahrscheinlich assoziiert. Die Ergebnisse einer Wiedererkennens-Gedächtnisaufgabe zeigen, dass gelernte und nicht-gelernte Wörter mehr 'Ja-'Antworten auslösen, wenn sie eine größere Anzahl assoziierte Wörter im Reizmaterial aufweisen. Die ko-okkurrenzstatistischen Maße wurden benutzt, um eine kontextuelle Modell-Repräsentationsebene mit assoziativen Verbindungsgewichten auszustatten. Das Modell sagt auf dem Item-level voraus, welches Wort mit welcher Wahrscheinlichkeit wiedererkannt wird. Da viele der am stärksten assoziierten Wörter zum präsentierten Wort eine semantische Verknüpfung aufweisen (z.B. Synonymie), ist das so gewonnene 'Associative Read-Out Model', das erste IAM mit einer semantischen Repräsentationsebene.