BrainJanus: 뇌, 시각, 언어를 아우르는 이해와 생성을 위한 통합 모델

초록

외부 감각 자극과 내부 신경 활동 간의 양방향 대응 관계를 모델링하는 것은 신경과학의 중요한 프론티어로 부상했다. 그러나 기존 접근법은 뇌 부호화(encoding)와 복호화(decoding)를 주로 단일 양식 정렬(unimodal alignment)과 외부 사전 정보에 의존하는 독립된 과제로 취급하며, 뇌가 본질적으로 다중 양식 통합 시스템(multimodal integration system)임을 간과한다. 이러한 한계를 극복하기 위해 우리는 BrainJanus를 제안한다. 이는 뇌, 시각, 언어를 단일 프레임워크 내에서 통합하는 최초의 통합 뇌 모델이다. 구체적으로, 통합 뇌 토크나이저(Unified Brain Tokenizer)를 도입하여 연속적인 신경 역학을 시각 및 언어 표현과 정렬된 이산 토큰으로 양자화하며, 이를 공유된 Omni 공간에서 수행한다. 이를 기반으로 올인원 자기회귀 아키텍처(All-in-One autoregressive architecture)를 활용하여 다음 토큰 예측(next-token prediction)을 통해 원활한 임의-대-임의 생성(any-to-any generation)을 가능하게 한다. 여기에는 이미지-대-뇌 및 텍스트-대-뇌 부호화, 그리고 뇌-대-이미지 및 뇌-대-텍스트 복호화가 포함된다. 광범위한 실험을 통해 BrainJanus가 다양한 벤치마크에서 우수한 성능을 달성함을 입증한다. 또한, 본 프레임워크는 제로샷 일반화(zero-shot generalization)를 보여주며 해석 가능한 생물학적 지형(biological topography)을 유지하여, 범용 뇌 모델링 패러다임으로서의 잠재력을 강조한다. 코드는 https://github.com/HaitaoWuTJU/BrainJanus{GitHub}에서 확인할 수 있다.

English

Modeling the bidirectional correspondence between external sensory stimuli and internal neural activity has emerged as a critical frontier in neuroscience. However, existing approaches predominantly treat brain encoding and decoding as isolated tasks, relying heavily on unimodal alignment and external priors while overlooking the brain's intrinsic nature as a multimodal integration system. To address these limitations, we propose BrainJanus, the first unified brain model that integrates brain, vision, and language within a single framework. Specifically, we introduce a Unified Brain Tokenizer to quantize continuous neural dynamics into discrete tokens aligned with visual and linguistic representations in a shared Omni space. Building on this, we utilize an All-in-One autoregressive architecture that leverages next-token prediction to enable seamless any-to-any generation, which encompasses image-to-brain and text-to-brain encoding, and brain-to-image and brain-to-text decoding. Extensive experiments demonstrate that BrainJanus achieves superior performance across diverse benchmarks. Furthermore, our framework exhibits zero-shot generalization and preserves interpretable biological topography, highlighting its potential as a general-purpose brain modeling paradigm. The code is available at https://github.com/HaitaoWuTJU/BrainJanus{GitHub}.