In silico neuroscience is an emerging research paradigm consisting in the generation of large amounts of in silico neural responses using encoding models, followed by the experimentation on these in silico data. The in silico generation of neural responses is resource-efficient, saving enormous amounts of time and money, and therefore greatly speeds up research. This dissertation consists of my three doctoral studies, each contributing to the paradigm of in silico neuroscience in an idiosyncratic way, with a focus on human vision. In Study 1, I collected and released THINGS EEG2, a large-scale visual neural dataset (LSVND) of EEG responses of 10 subject to 16,740 naturalistic images. I showed that this large amount of data allows to train accurate encoding models of neural responses to images–including end-to-end encoding models based on randomly initialized deep learning architectures–indicating the suitability of this EEG dataset for in silico neuroscience. In Study 2, I used the paradigm of in silico neuroscience to develop relational neural control (RNC), a neural control algorithm to move from an atomistic understanding of visual cortical areas (i.e., “What does each area represent?”) to a network-level understanding (i.e. “What is the relationship between representations in different areas?”). Crucially, I then validated the in silico discoveries on in vivo fMRI responses recorded from independent subjects, thus revealing how visual areas jointly represent the world as an interconnected network, and showcasing the power of in silico neuroscience. In Study 3, I contributed to the improvement of the out-of-distribution (OOD) prediction accuracy of encoding models by releasing NSD-synthetic, the OOD companion dataset of the Natural Scenes Dataset (NSD)–the most popular LSVND of human fMRI responses to naturalistic images. I showed that encoding models trained on NSD generalize in-distribution (ID) and, to a lower extent, OOD on NSD-synthetic. Furthermore, these OOD tests revealed differences between encoding models that were not detected ID. Thus, NSD-synthetic provides unique insight for the development of more robust encoding models that better generalize OOD, in turn increasing the reliability of in silico neuroscience findings. Together, my vision for the future of the paradigm of in silico neuroscience is that richer LSVNDs including OOD components will promote encoding models that more accurately predict in silico neural responses, leading to an increase of in silico experimentation that will ultimately result in faster scientific development.
In-silico-Neurowissenschaften sind ein aufkommendes Forschungsparadigma, das in der Generierung großer Mengen in silico erzeugter neuronaler Antworten mittels Encoding-Modellen sowie der anschließenden experimentellen Untersuchung dieser in silico-Daten besteht. Die in silico-Generierung neuronaler Antworten ist ressourcenschonend, spart enorme Mengen an Zeit und Geld und beschleunigt somit die Forschung erheblich. Diese Dissertation umfasst meine drei Promotionsstudien mit einem Schwerpunkt auf dem menschlichen Sehen, die jeweils auf idiosynkratische Weise zum Paradigma der In-silico-Neurowissenschaften beitragen. In Studie 1 sammelte und veröffentlichte ich THINGS EEG2, ein groß angelegtes visuelles neuronales Datenset (Large-Scale Visual Neural Dataset, LSVND) mit EEG-Antworten von 10 Probanden auf 16.740 naturalistische Bilder. Ich konnte zeigen, dass diese große Datenmenge die Entwicklung präziser Encoding-Modelle neuronaler Antworten auf Bilder ermöglicht – einschließlich End-to-End-Encoding-Modelle auf Basis zufällig initialisierter Deep-Learning-Architekturen –, was die Eignung dieses EEG-Datensatzes für die In-silico-Neurowissenschaften belegt. In Studie 2 nutzte ich das Paradigma der In-silico-Neurowissenschaften zur Entwicklung der Relational Neural Control (RNC), eines neuronalen Kontrollalgorithmus, um von einem atomistischen Verständnis visueller Kortexareale (d. h. „Was repräsentiert jedes Areal?“) zu einem netzwerkbasierten Verständnis („Wie stehen die Repräsentationen verschiedener Areale miteinander in Beziehung?“) zu gelangen. Entscheidend war, dass ich die in silico gewonnenen Erkenntnisse an in vivo fMRI-Daten unabhängiger Probanden validierte und somit aufdeckte, wie visuelle Areale die Welt als ein vernetztes System gemeinsam repräsentieren. Dies verdeutlicht die Stärke der In-silico-Neurowissenschaften. In Studie 3 trug ich zur Verbesserung der Out-of-Distribution (OOD) Vorhersagegenauigkeit von Encoding-Modellen bei, indem ich NSD-synthetic veröffentlichte, den OOD-komplementären Datensatz des Natural Scenes Dataset (NSD) – dem derzeit populärsten LSVND menschlicher fMRT-Antworten auf naturalistische Bilder. Ich zeigte, dass auf NSD trainierte Encoding-Modelle sowohl in-distribution (ID) als auch – in geringerem Maße – out-of-distribution (OOD) auf NSD-synthetic generalisieren. Darüber hinaus offenbarten diese OOD-Tests Unterschiede zwischen Encoding-Modellen, die bei ID-Tests nicht erkennbar waren. Somit bietet NSD-synthetic einzigartige Einblicke für die Entwicklung robusterer Encoding-Modelle, die besser OOD generalisieren und dadurch die Zuverlässigkeit von Erkenntnissen der In-silico-Neurowissenschaften erhöhen. Zusammenfassend ist meine Vision für die Zukunft des Paradigmas der In-silico-Neurowissenschaften, dass reichhaltigere LSVNDs, die OOD-Komponenten enthalten, Encoding-Modelle fördern werden, die die in-silico-neuronalen Antworten genauer vorhersagen. Dies wird zu einer Zunahme an In-silico-Experimenten führen, was letztlich zu einer schnelleren wissenschaftlichen Entwicklung beitragen wird.
