In recent years, there have been considerable advances in our understanding of how the human brain represents different kinds of visual stimuli. In particular, machine learning approaches have made it possible to decode or classify visual stimulus features from the multivariate neural signal, allowing for the distinction of different stimulus categories. However, many visual features are continuous in nature, meaning that they are not perceived in categories but in a dynamic, gradual way. This calls for feature-continuous analysis methods that can establish a detailed mapping between the continuous stimulus features and their corresponding representational spaces. Here, we contributed to the study of continuous feature representations by developing new approaches for the pre-processing and analysis of neuroimaging data, with the aim to reconstruct continuous, periodic stimuli from neural responses. First, we developed feature-space smoothing (FSS), a pre-processing method to considerably increase the signal-to-noise ratio of neural data in a continuous setting. Second, we implemented a periodic support vector regression (pSVR), which allows for the reconstruction of continuous stimulus features from the combined pattern of neural responses. We successfully applied these methods in the context of two separate neuroimaging studies. In Study 1 (see Printing copy of the publication), we used fMRI to investigate the strength of working memory representations of continuous orientations in the visual areas of participants with particularly strong or weak visual imagery ability. In contrast to our initial predictions, we found no significant difference in the amount of reconstructed information between the two groups. Instead, working memory signals were highly predictive of behavioral task performance, in both groups. We conclude that working memory representations in early visual cortex do not necessarily rely on vivid visual images. In Study 2 (currently in preparation for publication), we used EEG to investigate the neural representation of a continuous motion stimulus in two distinct frequency bands, ERP- and alpha-activity. We could successfully reconstruct direction-specific information from the sustained EEG signal. However, only the ERP activity systematically reflected the stimulus information throughout the entire trial, while informative alpha-activity was restricted to the response period of the trial. We conclude that the ERP activity encodes a perceptual signal, while the alpha-band reflects the locus of spatial attention, consistent with previous literature. Together, these results show that our novel analysis techniques are a valuable contribution to the research of neural representations in a feature-continuous setting, using different kinds of neuroimaging data (fMRI, EEG) and cognitive processes (working memory, perception, spatial attention). Thus, we introduce FSS and pSVR as useful additions to the neuroscientific toolkit.
In den letzten Jahren wurden erhebliche Fortschritte bei der Frage erzielt, wie visuelle Stimuli im menschlichen Gehirn repräsentiert werden. Insbesondere durch die Entwicklung neuartiger Machine Learning Verfahren ist es nun möglich, unterschiedliche Stimulus-Kategorien aus multivariaten neuronalen Signalen zu dekodieren. Viele visuelle Merkmale werden jedoch im Gehirn nicht als Kategorien wahrgenommen, sondern graduell. Dies erfordert Analysemethoden, die einen kontinuierlichen Zusammenhang zwischen diesen Stimuli und den entsprechenden neuralen Repräsentationen herstellen können. Ziel dieser Arbeit ist es, einen Beitrag zur Erforschung kontinuierlicher Stimulusrepräsentationen zu leisten. Dafür haben wir neue Methoden für die Verarbeitung und Analyse von Neuroimaging-Daten entwickelt, mit dem Ziel, kontinuierliche, periodische Reize aus neuronaler Aktivität zu rekonstruieren. Dies umfasst Feature-Space Smoothing (FSS), eine Methode zur Verbesserung des Signal-Rausch-Verhältnis kontinuierlicher neuronaler Daten, und eine periodische Support-Vektor-Regression (pSVR) für die Rekonstruktion kontinuierlicher Stimulusmerkmale aus multivariaten neuronalen Signalen. Diese Methoden wurden in zwei separaten Neuroimaging-Studien angewendet. In Studie 1 (siehe Printing copy of the publication) haben wir mittels fMRT die während einer Kurzzeitgedächtnis-Aufgabe in visuellen Gehirnarealen gespeicherten Repräsentationen von kontinuierlichen Orientierungs-stimuli, spezifisch bei Studienteilnehmern mit sehr stark oder schwach ausgeprägter bildlicher Vorstellungskraft, untersucht. Entgegen unseren Annahmen fanden wir keinen signifikanten Gruppenunterschied in der rekonstruierbaren Information. Stattdessen korrelierten die Signale in beiden Gruppen stark mit den Verhaltensdaten. Daraus schließen wir, dass im Kurzzeitgedächtnis behaltene Repräsentationen in frühen visuellen Arealen nicht zwingend auf bildliche Vorstellungskraft angewiesen sind. In Studie 2 (in Vorbereitung) haben wir neuronale Repräsentation eines kontinuierlichen Bewegungsstimulus in zwei EEG-Frequenzbändern (ERP und Alpha-Band) untersucht. Wir konnten erfolgreich richtungsspezifische Informationen aus dem EEG-Signal rekonstruieren. Allerdings spiegelte nur die ERP-Aktivität die Stimulusinformation über den kompletten Versuchszeitraum wider, während sich das informative Alpha-Signal auf den Zeitraum um die Verhaltensantwort beschränkte. Wir schließen daraus, dass die ERP-Aktivität ein Wahrnehmungssignal kodiert, während das Alpha-Band den Lokus der räumlichen Aufmerksamkeit widerspiegelt. Zusammengefasst zeigen die Ergebnisse, dass unsere neuen Analysetechniken gut geeignet sind, um neuronale Repräsentationen kontinuierlicher Merkmale zu untersuchen. Dies gilt für verschiedene Datenquellen (fMRI, EEG) und kognitive Prozesse (Kurzzeitgedächtnis, Wahrnehmung, räumliche Aufmerksamkeit). FSS und pSVR sind daher nützliche methodische Ergänzungen für die Analyse neurowissenschaftlicher Datensätze.
