Layer-specific neural signatures of feedforward and feedback in human object vision

Abstract

Object vision relies on neural computations across regions of the ventral visual pathway, mediated by feedforward and feedback connections. While anatomical studies have revealed a dissociation between these connections, the functional organization and roles of the associated information flows remain unclear, as feedforward and feedback processing operate in parallel with overlapping spatial and temporal profiles.

Leveraging the laminar specificity of feedforward and feedback projections in the visual cortex, I conducted two lamina-resolved functional magnetic resonance imaging (fMRI) studies to investigate the neural signatures of these two information flows in human object vision. In Study I, I examined the laminar organization of feedforward and feedback signals in high-level ventral visual cortex by contrasting visual perception and mental imagery. In Study II, I combined lamina-resolved fMRI with electroencephalography (EEG) to resolve the spatiotemporal dynamics of concurrent feedforward and feedback signals during object perception in early visual cortex (EVC) and the lateral occipital complex (LOC). Additionally, I characterized the representational format of these signals by comparing their neural representations to those derived from a deep neural network.

This work yielded three key findings. First, during perception, both feedforward and feedback signals are distributed across cortical layers in high-level ventral visual cortex, whereas during imagery, feedback signals are predominantly confined to the deep layers. Second, during perception, transient feedforward signals first emerge in the middle layers of EVC and LOC, followed by sustained feedback signals to the superficial layers of both regions and the deep layers of EVC. Third, feedforward signals to LOC convey mid-level feature information, while feedback increases representational complexity, aligning more closely with high-level visual representations.

Together, these findings provide novel insights into the laminar, temporal, and representational architecture of feedforward and feedback processing, shedding light on how these information streams shape human object vision.

Die Objektwahrnehmung beruht auf neuronalen Prozessen entlang der ventralen visuellen Verarbeitungsbahn, vermittelt durch Feedforward- und Feedback-Verbindungen. Obwohl anatomische Studien diese Verbindungen unterscheiden konnten, bleibt ihre funktionelle Organisation unklar, da beide Informationsflüsse parallel mit überlappenden räumlich-zeitlichen Profilen ablaufen.

Auf Grundlage der laminar-spezifischen Verschaltung von bottom-up- und top-down-Projektionen im Kortex führte ich zwei lamina-auflösende funktionelle Magnetresonanztomographie- (fMRT-) Studien durch, um neuronale Signaturen von Feedforward- und Feedback-Verarbeitung in der menschlichen Objektwahrnehmung zu untersuchen. In Studie I analysierte ich die laminare Organisation dieser Signale im hochstufigen ventralen visuellen Kortex, indem ich visuelle Wahrnehmung und mentale Vorstellung kontrastierte. In Studie II kombinierte ich schichtspezifisches fMRT mit Elektroenzephalographie EEG, um die räumlich-zeitliche Dynamik paralleler Feedforward- und Feedback-Signale im frühen visuellen Kortex (EVC) und im lateralen okzipitalen Komplex (LOC) zu erfassen. Zudem verglich ich deren neuronale Muster mit denen eines tiefen neuronalen Netzwerks, um deren repräsentationale Inhalte zu charakterisieren.

Dabei ergaben sich drei zentrale Befunde: Erstens sind bei der Wahrnehmung sowohl Feedforward- als auch Feedback-Signale über alle Schichten des hochstufigen ventralen visuellen Kortex verteilt, während Feedback bei Vorstellung auf tiefe Schichten beschränkt bleibt. Zweitens erscheinen während der Wahrnehmung transiente Feedforward-Signale zunächst in den mittleren Schichten von EVC und LOC, gefolgt von anhaltendem Feedback in oberflächlichen Schichten beider Areale und den tiefen Schichten des EVC. Drittens transportieren Feedforward-Signale zum LOC mittlere visuelle Merkmale, während Feedback die Repräsentationskomplexität erhöht und stärker mit hochstufigen visuellen Merkmalen übereinstimmt.

Diese Ergebnisse liefern neue Einblicke in die laminare, zeitliche und repräsentationale Architektur der Feedforward- und Feedback-Verarbeitung und zeigen, wie diese Informationsflüsse die menschliche Objektwahrnehmung prägen.