BrainJanus: Ein einheitliches Modell zum Verständnis und zur Generierung über Gehirn, Sehen und Sprache hinweg

Zusammenfassung

Die Modellierung der bidirektionalen Korrespondenz zwischen äußeren sensorischen Reizen und interner neuronaler Aktivität hat sich zu einem wichtigen Grenzbereich der Neurowissenschaften entwickelt. Allerdings behandeln bestehende Ansätze die Gehirn-Enkodierung und -Dekodierung überwiegend als isolierte Aufgaben, die stark auf unimodale Ausrichtung und externe Priors angewiesen sind, während sie die intrinsische Natur des Gehirns als multimodales Integrationssystem übersehen. Um diese Einschränkungen zu beheben, schlagen wir BrainJanus vor, das erste einheitliche Gehirnmodell, das Gehirn, Sehen und Sprache in einem einzigen Framework integriert. Insbesondere führen wir einen Unified Brain Tokenizer ein, um kontinuierliche neuronale Dynamiken in diskrete Tokens zu quantisieren, die mit visuellen und sprachlichen Repräsentationen in einem gemeinsamen Omni-Raum ausgerichtet sind. Darauf aufbauend nutzen wir eine All-in-One autoregressive Architektur, die Next-Token-Prädiktion verwendet, um eine nahtlose Any-to-Any-Generierung zu ermöglichen, die Bild-zu-Gehirn- und Text-zu-Gehirn-Enkodierung sowie Gehirn-zu-Bild- und Gehirn-zu-Text-Dekodierung umfasst. Umfangreiche Experimente zeigen, dass BrainJanus eine überlegene Leistung über verschiedene Benchmarks hinweg erzielt. Darüber hinaus zeigt unser Framework Zero-Shot-Generalization und bewahrt eine interpretierbare biologische Topographie, was sein Potenzial als Allzweck-Gehirnmodellierungsparadigma unterstreicht. Der Code ist verfügbar unter https://github.com/HaitaoWuTJU/BrainJanus{GitHub}.

English

Modeling the bidirectional correspondence between external sensory stimuli and internal neural activity has emerged as a critical frontier in neuroscience. However, existing approaches predominantly treat brain encoding and decoding as isolated tasks, relying heavily on unimodal alignment and external priors while overlooking the brain's intrinsic nature as a multimodal integration system. To address these limitations, we propose BrainJanus, the first unified brain model that integrates brain, vision, and language within a single framework. Specifically, we introduce a Unified Brain Tokenizer to quantize continuous neural dynamics into discrete tokens aligned with visual and linguistic representations in a shared Omni space. Building on this, we utilize an All-in-One autoregressive architecture that leverages next-token prediction to enable seamless any-to-any generation, which encompasses image-to-brain and text-to-brain encoding, and brain-to-image and brain-to-text decoding. Extensive experiments demonstrate that BrainJanus achieves superior performance across diverse benchmarks. Furthermore, our framework exhibits zero-shot generalization and preserves interpretable biological topography, highlighting its potential as a general-purpose brain modeling paradigm. The code is available at https://github.com/HaitaoWuTJU/BrainJanus{GitHub}.