Meta-leren In-Context Maakt Trainingsvrije Hersendecodering tussen Proefpersonen Mogelijk

Samenvatting

Visuele decodering op basis van hersensignalen is een centrale uitdaging op het snijvlak van computer vision en neurowetenschappen, waarbij methoden nodig zijn die neurale representaties en computationele modellen van visie met elkaar verbinden. Een veldbrede doelstelling is het bereiken van generaliseerbare, cross-subject modellen. Een grote hindernis hierbij is de aanzienlijke variabiliteit in neurale representaties tussen individuen, wat tot dusver vereiste dat er op maat gemaakte modellen werden getraind of aparte fine-tuning voor elk subject werd uitgevoerd. Om deze uitdaging aan te pakken, introduceren we een meta-geoptimaliseerde aanpak voor semantische visuele decodering van fMRI die generaliseert naar nieuwe subjecten zonder enige fine-tuning. Door simpelweg te conditioneren op een kleine set voorbeelden van beeld-brein activatie van het nieuwe individu, leidt ons model snel diens unieke neurale encoderingspatronen af om robuuste en efficiënte visuele decodering te vergemakkelijken. Onze aanpak is expliciet geoptimaliseerd voor in-context leren van het encoderingsmodel van de nieuwe proefpersoon en voert decodering uit door middel van hiërarchische inferentie, door de encoder om te keren. Eerst schatten we voor meerdere hersengebieden de visuele respons-encoderparameters per voxel door een context te construeren over meerdere stimuli en responsen. Vervolgens construeren we een context bestaande uit encoderparameters en responswaarden over meerdere voxels om geaggregeerde functionele inversie uit te voeren. We demonstreren sterke cross-subject en cross-scanner generalisatie over diverse visuele backbones heen, zonder hertraining of fine-tuning. Bovendien vereist onze aanpak noch anatomische alignering noch stimulusoverlap. Dit werk is een cruciale stap in de richting van een generaliseerbaar foundation model voor niet-invasieve breindecodering.

English

Visual decoding from brain signals is a key challenge at the intersection of computer vision and neuroscience, requiring methods that bridge neural representations and computational models of vision. A field-wide goal is to achieve generalizable, cross-subject models. A major obstacle towards this goal is the substantial variability in neural representations across individuals, which has so far required training bespoke models or fine-tuning separately for each subject. To address this challenge, we introduce a meta-optimized approach for semantic visual decoding from fMRI that generalizes to novel subjects without any fine-tuning. By simply conditioning on a small set of image-brain activation examples from the new individual, our model rapidly infers their unique neural encoding patterns to facilitate robust and efficient visual decoding. Our approach is explicitly optimized for in-context learning of the new subject's encoding model and performs decoding by hierarchical inference, inverting the encoder. First, for multiple brain regions, we estimate the per-voxel visual response encoder parameters by constructing a context over multiple stimuli and responses. Second, we construct a context consisting of encoder parameters and response values over multiple voxels to perform aggregated functional inversion. We demonstrate strong cross-subject and cross-scanner generalization across diverse visual backbones without retraining or fine-tuning. Moreover, our approach requires neither anatomical alignment nor stimulus overlap. This work is a critical step towards a generalizable foundation model for non-invasive brain decoding.

Meta-leren In-Context Maakt Trainingsvrije Hersendecodering tussen Proefpersonen Mogelijk

Meta-learning In-Context Enables Training-Free Cross Subject Brain Decoding

Samenvatting

Support