BrainJanus: Un modelo unificado para la comprensión y generación en cerebro, visión y lenguaje

Resumen

Modelar la correspondencia bidireccional entre los estímulos sensoriales externos y la actividad neuronal interna se ha convertido en una frontera crítica en neurociencia. Sin embargo, los enfoques existentes tratan predominantemente la codificación y decodificación cerebral como tareas aisladas, basándose en gran medida en la alineación unimodal y priores externos, mientras pasan por alto la naturaleza intrínseca del cerebro como sistema de integración multimodal. Para abordar estas limitaciones, proponemos BrainJanus, el primer modelo cerebral unificado que integra cerebro, visión y lenguaje dentro de un único marco. Específicamente, introducimos un Tokenizador Cerebral Unificado para cuantizar la dinámica neuronal continua en tokens discretos alineados con representaciones visuales y lingüísticas en un espacio Omni compartido. Sobre esta base, utilizamos una arquitectura autoregresiva Todo-en-Uno que aprovecha la predicción del siguiente token para permitir una generación fluida de cualquier-a-cualquier, que abarca la codificación de imagen-a-cerebro y texto-a-cerebro, y la decodificación de cerebro-a-imagen y cerebro-a-texto. Experimentos exhaustivos demuestran que BrainJanus logra un rendimiento superior en diversos puntos de referencia. Además, nuestro marco exhibe generalización de cero disparos y preserva una topografía biológica interpretable, destacando su potencial como paradigma de modelado cerebral de propósito general. El código está disponible en https://github.com/HaitaoWuTJU/BrainJanus{GitHub}.

English

Modeling the bidirectional correspondence between external sensory stimuli and internal neural activity has emerged as a critical frontier in neuroscience. However, existing approaches predominantly treat brain encoding and decoding as isolated tasks, relying heavily on unimodal alignment and external priors while overlooking the brain's intrinsic nature as a multimodal integration system. To address these limitations, we propose BrainJanus, the first unified brain model that integrates brain, vision, and language within a single framework. Specifically, we introduce a Unified Brain Tokenizer to quantize continuous neural dynamics into discrete tokens aligned with visual and linguistic representations in a shared Omni space. Building on this, we utilize an All-in-One autoregressive architecture that leverages next-token prediction to enable seamless any-to-any generation, which encompasses image-to-brain and text-to-brain encoding, and brain-to-image and brain-to-text decoding. Extensive experiments demonstrate that BrainJanus achieves superior performance across diverse benchmarks. Furthermore, our framework exhibits zero-shot generalization and preserves interpretable biological topography, highlighting its potential as a general-purpose brain modeling paradigm. The code is available at https://github.com/HaitaoWuTJU/BrainJanus{GitHub}.