Meta-Learning im Kontext ermöglicht trainingsfreie Gehirndekodierung über verschiedene Versuchspersonen hinweg

Zusammenfassung

Die visuelle Dekodierung aus Hirnsignalen stellt eine zentrale Herausforderung an der Schnittstelle von Computer Vision und Neurowissenschaften dar und erfordert Methoden, die neuronale Repräsentationen mit computergestützten Modellen des Sehens verknüpfen. Ein übergeordnetes Ziel der Forschung ist die Entwicklung generalisierbarer, subjektübergreifender Modelle. Ein Haupthindernis hierfür ist die erhebliche Variabilität neuronaler Repräsentationen zwischen Individuen, was bisher die Erstellung individuell angepasster Modelle oder separates Fine-Tuning für jede Versuchsperson erforderte. Um diese Herausforderung zu bewältigen, stellen wir einen meta-optimierten Ansatz zur semantischen visuellen Dekodierung aus fMRT-Daten vor, der sich ohne jegliches Fine-Tuning auf neue Probanden generalisieren lässt. Unser Modell leitet lediglich anhand einer kleinen Anzahl von Bild-Hirnaktivierungs-Beispielen eines neuen Individuums dessen einzigartige neuronale Kodierungsmuster ab, um eine robuste und effiziente visuelle Dekodierung zu ermöglichen. Unser Ansatz ist explizit für In-Context-Learning des Kodierungsmodells des neuen Probanden optimiert und führt die Dekodierung durch hierarchische Inferenz durch Invertierung des Encoders durch. Zunächst schätzen wir für mehrere Hirnregionen die visuellen Encoder-Parameter pro Voxel, indem wir einen Kontext über mehrere Stimuli und Reaktionen konstruieren. Zweitens erstellen wir einen Kontext, der Encoder-Parameter und Antwortwerte über mehrere Voxel umfasst, um eine aggregierte funktionale Invertierung durchzuführen. Wir demonstrieren eine starke Generalisierung über Probanden und Scanner hinweg mit verschiedenen visuellen Architekturen, ohne Neutraining oder Fine-Tuning. Darüber hinaus benötigt unser Ansatz weder anatomische Ausrichtung noch Stimulus-Überlappung. Diese Arbeit stellt einen entscheidenden Schritt in Richtung eines generalisierbaren Foundation-Modells für die nicht-invasive Hirndekodierung dar.

English

Visual decoding from brain signals is a key challenge at the intersection of computer vision and neuroscience, requiring methods that bridge neural representations and computational models of vision. A field-wide goal is to achieve generalizable, cross-subject models. A major obstacle towards this goal is the substantial variability in neural representations across individuals, which has so far required training bespoke models or fine-tuning separately for each subject. To address this challenge, we introduce a meta-optimized approach for semantic visual decoding from fMRI that generalizes to novel subjects without any fine-tuning. By simply conditioning on a small set of image-brain activation examples from the new individual, our model rapidly infers their unique neural encoding patterns to facilitate robust and efficient visual decoding. Our approach is explicitly optimized for in-context learning of the new subject's encoding model and performs decoding by hierarchical inference, inverting the encoder. First, for multiple brain regions, we estimate the per-voxel visual response encoder parameters by constructing a context over multiple stimuli and responses. Second, we construct a context consisting of encoder parameters and response values over multiple voxels to perform aggregated functional inversion. We demonstrate strong cross-subject and cross-scanner generalization across diverse visual backbones without retraining or fine-tuning. Moreover, our approach requires neither anatomical alignment nor stimulus overlap. This work is a critical step towards a generalizable foundation model for non-invasive brain decoding.

Meta-Learning im Kontext ermöglicht trainingsfreie Gehirndekodierung über verschiedene Versuchspersonen hinweg

Meta-learning In-Context Enables Training-Free Cross Subject Brain Decoding

Zusammenfassung

Support