BrainJanus: Единая модель для понимания и генерации в области мозга, зрения и языка

Аннотация

Моделирование двунаправленного соответствия между внешними сенсорными стимулами и внутренней нейронной активностью стало ключевым направлением в нейронауке. Однако существующие подходы в основном рассматривают кодирование и декодирование мозга как изолированные задачи, полагаясь на унилатеральное выравнивание и внешние априорные знания, при этом игнорируя внутреннюю природу мозга как мультимодальной интеграционной системы. Для преодоления этих ограничений мы предлагаем BrainJanus — первую унифицированную модель мозга, объединяющую мозг, зрение и язык в рамках единой архитектуры. В частности, мы вводим Унифицированный токенизатор мозга (Unified Brain Tokenizer) для квантования непрерывной нейронной динамики в дискретные токены, согласованные с визуальными и лингвистическими представлениями в общем пространстве Omni. На этой основе мы используем архитектуру All-in-One авторегрессии, которая с помощью предсказания следующего токена обеспечивает плавную генерацию «любой-с-любым», охватывающую кодирование типа «изображение-в-мозг» и «текст-в-мозг», а также декодирование «мозг-в-изображение» и «мозг-в-текст». Многочисленные эксперименты демонстрируют, что BrainJanus достигает превосходных результатов на различных тестовых задачах. Кроме того, наша модель обладает способностью к нулевому обучению (zero-shot generalization) и сохраняет интерпретируемую биологическую топографию, что подчеркивает её потенциал как универсальной парадигмы моделирования мозга. Код доступен по адресу: https://github.com/HaitaoWuTJU/BrainJanus{GitHub}.

English

Modeling the bidirectional correspondence between external sensory stimuli and internal neural activity has emerged as a critical frontier in neuroscience. However, existing approaches predominantly treat brain encoding and decoding as isolated tasks, relying heavily on unimodal alignment and external priors while overlooking the brain's intrinsic nature as a multimodal integration system. To address these limitations, we propose BrainJanus, the first unified brain model that integrates brain, vision, and language within a single framework. Specifically, we introduce a Unified Brain Tokenizer to quantize continuous neural dynamics into discrete tokens aligned with visual and linguistic representations in a shared Omni space. Building on this, we utilize an All-in-One autoregressive architecture that leverages next-token prediction to enable seamless any-to-any generation, which encompasses image-to-brain and text-to-brain encoding, and brain-to-image and brain-to-text decoding. Extensive experiments demonstrate that BrainJanus achieves superior performance across diverse benchmarks. Furthermore, our framework exhibits zero-shot generalization and preserves interpretable biological topography, highlighting its potential as a general-purpose brain modeling paradigm. The code is available at https://github.com/HaitaoWuTJU/BrainJanus{GitHub}.