Investigating neural replay of task representations in the human brain using fMRI

Abstract

A remarkable discovery made in rodents three decades ago demonstrated that the brain reactivates previous experience during sleep and wakeful rest. This phenomenon, since known as replay, has been implicated in a variety of cognitive functions, ranging from spatial navigation and episodic memory consolidation to planning and decision-making. At the same time, research in machine learning (ML) has found that experience replay can substantially improve the performance of artificial agents. Together, these observations have spawned the idea that replay supports behavior by retrieving information from abstract internal representations of the environment. How the interplay between replay and internal task representations supports learning and decision-making in humans is still not well understood. In addition, investigating replay in humans is challenging because replay is fast, sequential, and occurs throughout the brain, but current non-invasive neuroimaging methods offer either sufficient temporal or spatial resolution, but not both. This dissertation consists of three publications that offer a theoretical and empirical perspective on the role of replay in learning and decision-making as well as methodological advances for the study of replay in humans using functional magnetic resonance imaging (fMRI). In Paper I, we provide a review of the recent computational and neuroscientific literature on replay and elucidate how replay can improve learning and decision-making in both biological and artificial agents. We identified five key computational functions of replay which include faster and data efficient learning, less forgetting, the reorganization and augmentation of experiences, planning, and generalization. We also discussed the benefits of reactivating abstract internal representations instead of recapitulating veridical experiences, and explored the idea that replay could be involved in learning which representation is useful for a given task. In Paper II, we developed and experimentally validated multivariate analysis methods for fMRI that allow studying the sequentiality and speed of fast-paced neural event sequences, like replay, with anatomical precision in humans. The results showed that probabilistic fMRI pattern classifiers make it possible to detect the sequential order of neural image representations at speeds of up to 32 milliseconds between sequence items. Finally, applying these methods to fMRI data from awake resting-state scans, we could differentiate fast from slow neural sequences that occurred at random time points and found evidence for sequential replay of task-related stimulus sequences during post-task rest. In Paper III, we investigated how humans form predictive internal representations of the statistical relationships between task stimuli and if the brain reactivates sequences from these internal representations during short pauses from ongoing behavior. The results showed that humans learned the higher-order relationships between consecutively presented images in the form of a predictive cognitive map that represents each item in terms of the subsequent items that follow from it. Applying the fMRI methods developed in Paper II to neural data during short pauses interleaved with task performance, we found that participants reactivated upcoming stimulus sequences that were most likely given this predictive internal representation. In summary, this dissertation makes three major contributions. First, linking findings about replay in the neuroscience and ML literature spurs new ideas how replay can support learning and decision-making in both biological and artificial agents. Second, novel methods to characterize the speed and sequentiality of replay with spatial specificity using fMRI have the potential to foster future insights into the role of replay in the human brain. Third, studying how replay interacts with internal representations opens avenues to further understand how the reactivation of experience supports adaptive behavior in machines and humans.

Eine bemerkenswerte Entdeckung, die vor drei Jahrzehnten in Ratten gemacht wurde, zeigte, dass das Gehirn vorherige Erfahrungen während des Schlafs oder wachen Ruhepausen reaktiviert. Dieses Phänomen, seither bekannt als "Replay" (engl. für "Wiedergabe" oder "Reaktivierung"), wurde mit einer Vielfalt von kognitiven Funktionen in Verbindung gebracht, die von räumlicher Navigation und episodischer Gedächtniskonsolidierung bis zu Planungsfähigkeiten und Entscheidungsfindung reichen. Zeitgleich wurde in Forschung zu maschinellem Lernen erkannt, dass Replay von Erfahrungen zu substantiellen Verbesserungen in der Performanz von künstlichen Akteuren (z.B. Robotern) führt. Zusammengefasst haben diese Beobachtungen die Idee hervorgebracht, dass Replay Verhalten unterstützt, indem Informationen einer abstrakten internen Repräsentation der Umgebung reaktiviert werden. Wie genau das Zusammenspiel von Replay und internen Repräsentationen der Aufgabe Lern- und Entscheidungsprozesse unterstützt, wurde noch nicht ausreichend verstanden. Außerdem ist die Erforschung von Replay in Menschen herausfordernd, weil Replay schnell und sequentiell ist und überall im Gehirn vorkommen kann. Jedoch bieten nicht-invasive neurowissenschaftliche Bildgebungsverfahren entweder ausreichende zeitliche oder räumliche Auflösung, aber nicht beides. Diese Dissertation besteht aus drei Publikationen, die eine theoretische und empirische Perspektive auf die Rolle von Replay in Lern- und Entscheidungsprozessen, sowie methodische Fortschritte für die Erforschung von Replay in Menschen mittels funktioneller Magnetresonanztomografie (fMRT) bieten. In Artikel I bieten wir eine Übersicht über die aktuelle komputationale und neurowissenschaftliche Literatur zu Replay und erläutern, wie Replay Lern- und Entscheidungsprozesse sowohl in Menschen als auch künstlichen Akteuren verbessern kann. Wir identifizieren fünf zentrale komputationale Funktionen von Replay, die es erlauben schneller und effizienter zu lernen, weniger zu vergessen, Erfahrungen neu zu organisieren oder zu erweitern, zu planen und Erfahrungen zu generalisieren. Wir diskutieren auch, welche Vorteile es hat, abstrakte interne Repräsentationen zu reaktivieren anstatt Erfahrungen wahrheitsgetreu zu rekapitulieren und untersuchen die Idee, dass Replay dazu beitragen könnte, zu lernen, welche Repräsentation für eine bestimmte Aufgabe hilfreich ist. In Artikel II haben wir multivariate Analysemethoden für fMRT entwickelt und experimentell validiert, die es ermöglichen, die Sequentialität und Geschwindigkeit von schnellen neuronalen Sequenzen, wie Replay, mit anatomischer Präzision in Menschen zu messen. Unsere Ergebnisse zeigen, dass probabilistische Algorithmen zur Klassifizierung von fMRT-Aktivierungsmustern es ermöglichen, die sequentielle Reihenfolge von neuronalen Repräsentationen von Bildern auch bei Geschwindigkeiten von nur 32 Millisekunden zwischen einzelnen Elementen der Sequenz zu erkennen. Außerdem konnten wir zwischen schnellen und langsamen neuronalen Sequenzen unterscheiden, die an zufälligen Zeitpunkten während einer verlängerten Ruhephase aufgetreten sind. Indem wir diese Methoden auf fMRT-Daten während einer wachen Ruhephase nach der Aufgabe anwendeten, konnten wir Evidenz für sequentielles Replay von den Bildern der vorherigen Aufgabe zeigen. In Artikel III untersuchten wir, wie Menschen prädiktive interne Repräsentationen von statischen Zusammenhänge zwischen Bildern lernen und ob das Gehirn Sequenzen von dieser internen Repräsentation in kurzen Pausen während der Aufgabe reaktiviert. Unsere Ergebnisse zeigten, dass Menschen übergeordnete Beziehungen zwischen aufeinanderfolgenden Bildern in Form einer prädiktiven kognitiven Karte lernen, die jedes Bild durch die darauffolgenden Bilder repräsentiert. Indem wir die fMRT-Methoden aus Artikel II auf neuronale Daten während kurzen Pausen von der laufenden Aufgabe anwendeten, entdeckten wir, dass die Probanden bevorstehende Sequenzen von Bildern reaktivierten, die entsprechend der prädiktiven internen Repräsentation am wahrscheinlichsten waren. Zusammenfassend leistet diese Dissertation drei zentrale Beiträge. Erstens wird gezeigt, dass die Verknüpfung von Erkenntnissen zu Replay aus Neurowissenschaft und maschinellem Lernen neue Ideen anregt, wie Replay Lern- und Entscheidungsprozesse in biologischen und künstlichen Akteuren unterstützt. Zweitens haben die neuen Methoden zur Erforschung der Sequentialität und Geschwindigkeit von Replay mittels räumlich spezifischer fMRT das Potenzial, zukünftige Erkenntnisse zur Rolle von Replay in Menschen zu fördern. Drittens eröffnet die Erforschung der Interaktion zwischen Replay und internen Repräsentationen neue Möglichkeiten zu verstehen, wie die Reaktivierung von Erfahrungen adaptives Verhalten von Maschinen und Menschen ermöglicht.