CineBrain : Un vaste ensemble de données cérébrales multimodales lors du traitement narratif audiovisuel naturaliste

CineBrain: A Large-Scale Multi-Modal Brain Dataset During Naturalistic Audiovisual Narrative Processing

March 10, 2025

Auteurs: Jianxiong Gao, Yichang Liu, Baofeng Yang, Jianfeng Feng, Yanwei Fu

cs.AI

Résumé

Dans cet article, nous présentons CineBrain, le premier jeu de données à grande échelle comprenant des enregistrements simultanés d'EEG et d'IRMf lors d'une stimulation audiovisuelle dynamique. Conscient des forces complémentaires de la haute résolution temporelle de l'EEG et de la couverture spatiale profonde de l'IRMf, CineBrain propose environ six heures de contenu narratif tiré de la série télévisée populaire The Big Bang Theory pour chacun des six participants. S'appuyant sur ce jeu de données unique, nous proposons CineSync, un cadre innovant de décodage multimodal qui intègre un Encodeur de Fusion Multi-Modale avec un Décodeur de Latence Neuronale basé sur la diffusion. Notre approche fusionne efficacement les signaux EEG et IRMf, améliorant significativement la qualité de reconstruction des stimuli audiovisuels complexes. Pour faciliter une évaluation rigoureuse, nous introduisons Cine-Benchmark, un protocole d'évaluation complet qui évalue les reconstructions à travers les dimensions sémantiques et perceptuelles. Les résultats expérimentaux démontrent que CineSync atteint des performances de reconstruction vidéo de pointe et mettent en lumière notre succès initial dans la combinaison de l'IRMf et de l'EEG pour reconstruire à la fois les stimuli vidéo et audio. Page du projet : https://jianxgao.github.io/CineBrain.

English

In this paper, we introduce CineBrain, the first large-scale dataset featuring simultaneous EEG and fMRI recordings during dynamic audiovisual stimulation. Recognizing the complementary strengths of EEG's high temporal resolution and fMRI's deep-brain spatial coverage, CineBrain provides approximately six hours of narrative-driven content from the popular television series The Big Bang Theory for each of six participants. Building upon this unique dataset, we propose CineSync, an innovative multimodal decoding framework integrates a Multi-Modal Fusion Encoder with a diffusion-based Neural Latent Decoder. Our approach effectively fuses EEG and fMRI signals, significantly improving the reconstruction quality of complex audiovisual stimuli. To facilitate rigorous evaluation, we introduce Cine-Benchmark, a comprehensive evaluation protocol that assesses reconstructions across semantic and perceptual dimensions. Experimental results demonstrate that CineSync achieves state-of-the-art video reconstruction performance and highlight our initial success in combining fMRI and EEG for reconstructing both video and audio stimuli. Project Page: https://jianxgao.github.io/CineBrain.