BrainJanus : un modèle unifié pour la compréhension et la génération à travers le cerveau, la vision et le langage

Résumé

Modélisation de la correspondance bidirectionnelle entre les stimuli sensoriels externes et l'activité neuronale interne constitue une frontière cruciale en neurosciences. Cependant, les approches existantes traitent principalement l'encodage et le décodage cérébraux comme des tâches isolées, reposant fortement sur un alignement unimodal et des a priori externes, tout en négligeant la nature intrinsèque du cerveau en tant que système d'intégration multimodal. Pour pallier ces limitations, nous proposons BrainJanus, le premier modèle cérébral unifié intégrant le cerveau, la vision et le langage au sein d'un même cadre. Plus précisément, nous introduisons un tokeniseur cérébral unifié (Unified Brain Tokenizer) pour quantifier la dynamique neuronale continue en jetons discrets alignés sur les représentations visuelles et linguistiques dans un espace Omni partagé. En nous appuyant sur cela, nous utilisons une architecture autorégressive tout-en-un (All-in-One) exploitant la prédiction du jeton suivant pour permettre une génération any-to-any transparente, incluant l'encodage image-cerveau et texte-cerveau, ainsi que le décodage cerveau-image et cerveau-texte. Des expériences approfondies montrent que BrainJanus atteint des performances supérieures sur divers benchmarks. De plus, notre cadre présente une généralisation zero-shot et préserve une topographie biologique interprétable, soulignant son potentiel en tant que paradigme de modélisation cérébrale à usage général. Le code est disponible à l'adresse https://github.com/HaitaoWuTJU/BrainJanus{GitHub}.

English

Modeling the bidirectional correspondence between external sensory stimuli and internal neural activity has emerged as a critical frontier in neuroscience. However, existing approaches predominantly treat brain encoding and decoding as isolated tasks, relying heavily on unimodal alignment and external priors while overlooking the brain's intrinsic nature as a multimodal integration system. To address these limitations, we propose BrainJanus, the first unified brain model that integrates brain, vision, and language within a single framework. Specifically, we introduce a Unified Brain Tokenizer to quantize continuous neural dynamics into discrete tokens aligned with visual and linguistic representations in a shared Omni space. Building on this, we utilize an All-in-One autoregressive architecture that leverages next-token prediction to enable seamless any-to-any generation, which encompasses image-to-brain and text-to-brain encoding, and brain-to-image and brain-to-text decoding. Extensive experiments demonstrate that BrainJanus achieves superior performance across diverse benchmarks. Furthermore, our framework exhibits zero-shot generalization and preserves interpretable biological topography, highlighting its potential as a general-purpose brain modeling paradigm. The code is available at https://github.com/HaitaoWuTJU/BrainJanus{GitHub}.