From visual representations to perceptual decisions: investigating neural mechanisms underlying visual recognition and perceptual decision making

Abstract

To successfully interact with the environment, humans must robustly encode sensory inputs into neural representations and translate these representations into adaptive behavior. In this thesis, I conducted three empirical studies targeting particular neural mechanisms entailed in this transition from sensory inputs to perceptual decisions. In Study 1, I probed the robustness of core visual processing mechanisms by characterizing and comparing the neural dynamics of object recognition for natural photographs and abstracted line drawings. This revealed that core visual processing mechanisms in the brain are robust to the abstraction of substantial amounts of visual information, such as in line drawings. In Study 2, I investigated the influence of feedback processing on object representations by comparing the neural dynamics of object recognition for stimuli that were either rapidly followed by a masking stimulus or followed only after a substantial delay. This revealed that feedback processing fundamentally shapes visual representations in the brain, first in early than in high-level visual cortex. Feedback enhances the persistence of visual representations, causes a shift in the representational format in high-level visual cortex, and affects distinct spectro-temporal windows in the theta to beta frequency bands. Finally, in Study 3, I examined the link between neural representations of real-world scenes and behavior under varying task demands. The findings showed that distinct visual representations in the brain are behaviorally relevant depending on the task, that mid-level visual features underlie these behaviorally relevant representations, and that visual representations can interfere with behavior given task demands that do not align with the represented information. By demonstrating the robustness of core visual processing mechanisms to visual abstractions and by characterizing how feedback processing dynamically shapes visual processing, the findings in Study 1 and 2 provide complimentary insights into the neural mechanisms that enable robust encoding of visual information. By identifying and characterizing visual representations relevant for behavior across different task demands, Study 3 provides novel insights into the translation of sensory information into perceptual decisions. Collectively, these results contribute to a large body of research on visual recognition and perceptual decision making, provide potential new theoretical frameworks for understanding the underlying mechanisms, and guide the way for future research that directly tests and refines these theories.

Um erfolgreich mit der Umwelt zu interagieren, müssen Menschen sensorische Reize robust enkodieren und die resultierenden Repräsentationen in Verhalten umwandeln. In dieser Dissertation habe ich drei empirischen Studie durchgeführt, um spezifische neuronale Mechanismen zu untersuchen, die diesem Übergang von sensorischen Reizen zu Wahrnehmungsentscheidungen zugrunde liegen. In Studie 1 habe ich die Robustheit grundlegender visueller Verarbeitungsmechanismen untersucht, indem ich die neuronale Dynamik der Objekterkennung für natürliche Fotografien und abstrahierte Strichzeichnungen charakterisiert und verglichen habe. Die Ergebnisse zeigten, dass grundlegende visuelle Verarbeitungsmechanismen robust gegenüber der Abstraktion großer Mengen visueller Informationen sind, wie es in Strichzeichnungen der Fall ist. In Studie 2 untersuchte ich den Einfluss von Feedbackverarbeitung auf Objektrepräsentationen, indem ich die neuronale Dynamik der Objekterkennung für Stimuli verglich, die entweder schnell von einem Maskierungsreiz gefolgt wurden oder erst nach einer längeren Verzögerung. Die Ergebnisse zeigten, dass Feedback die visuellen Repräsentationen im Gehirn grundlegend beeinflusst, zunächst im frühen und später im höheren visuellen Kortex. Feedback erhöht die Beständigkeit visueller Repräsentationen, führt zu einer Veränderung im Repräsentationsformat im höheren visuellen Kortex und beeinflusst spezifische spektral-temporale Fenster in den Theta- bis Beta-Frequenzbändern. Abschließend habe ich in Studie 3 den Zusammenhang zwischen neuronalen Repräsentationen realer Szenenbilder und dem Verhalten während verschiedener Aufgaben untersucht. Die Ergebnisse zeigten, dass unterschiedliche visuelle Repräsentationen im Gehirn je nach Aufgabe verhaltensrelevant sind, dass visuelle Informationen mittlerer Komplexität diesen Repräsentationen zugrunde liegen und dass visuelle Repräsentationen mit Verhalten interferieren können, wenn die Aufgabenanforderungen nicht mit der repräsentierten Information übereinstimmen. Durch die Demonstration der Robustheit grundlegender visueller Verarbeitunsgsmechanismen gegenüber visueller Abstraktion und die Charakterisierung, wie Feedback visuelle Verarbeitung dynamisch formt, liefern die Ergebnisse aus Studie 1 und 2 komplementäre Einblicke in die neuronalen Mechanismen, die die robuste Enkodierung visueller Informationen ermöglichen. Durch die Identifizierung und Charakterisierung verhaltensrelevanter visueller Repräsentationen, liefert Studie 3 neue Erkenntnisse über die Umwandlung von sensorischen Reizen in Wahrnehmungsentscheidungen. Insgesamt tragen diese Ergebnisse zu einem breiten Forschungsfeld zu visueller Objekterkennung und Wahrnehmungsentscheidungen bei, liefern neue theoretische Anhaltspunkte für das Verständnis der zugrundeliegenden neuronalen Mechanismen und können zukünftige Forschung anleiten, die diese Theorien direkt testet.