CineBrain: Un conjunto de datos cerebrales multimodal a gran escala durante el procesamiento de narrativas audiovisuales naturalistas

CineBrain: A Large-Scale Multi-Modal Brain Dataset During Naturalistic Audiovisual Narrative Processing

March 10, 2025

Autores: Jianxiong Gao, Yichang Liu, Baofeng Yang, Jianfeng Feng, Yanwei Fu

cs.AI

Resumen

En este artículo, presentamos CineBrain, el primer conjunto de datos a gran escala que incluye registros simultáneos de EEG y fMRI durante la estimulación audiovisual dinámica. Reconociendo las fortalezas complementarias de la alta resolución temporal del EEG y la cobertura espacial profunda del fMRI, CineBrain proporciona aproximadamente seis horas de contenido narrativo de la popular serie de televisión The Big Bang Theory para cada uno de los seis participantes. Basándonos en este conjunto de datos único, proponemos CineSync, un marco innovador de decodificación multimodal que integra un Codificador de Fusión Multimodal con un Decodificador de Latentes Neuronales basado en difusión. Nuestro enfoque fusiona eficazmente las señales de EEG y fMRI, mejorando significativamente la calidad de la reconstrucción de estímulos audiovisuales complejos. Para facilitar una evaluación rigurosa, introducimos Cine-Benchmark, un protocolo de evaluación integral que valora las reconstrucciones en dimensiones semánticas y perceptivas. Los resultados experimentales demuestran que CineSync alcanza un rendimiento de reconstrucción de video de vanguardia y destacan nuestro éxito inicial en la combinación de fMRI y EEG para reconstruir tanto estímulos de video como de audio. Página del proyecto: https://jianxgao.github.io/CineBrain.

English

In this paper, we introduce CineBrain, the first large-scale dataset featuring simultaneous EEG and fMRI recordings during dynamic audiovisual stimulation. Recognizing the complementary strengths of EEG's high temporal resolution and fMRI's deep-brain spatial coverage, CineBrain provides approximately six hours of narrative-driven content from the popular television series The Big Bang Theory for each of six participants. Building upon this unique dataset, we propose CineSync, an innovative multimodal decoding framework integrates a Multi-Modal Fusion Encoder with a diffusion-based Neural Latent Decoder. Our approach effectively fuses EEG and fMRI signals, significantly improving the reconstruction quality of complex audiovisual stimuli. To facilitate rigorous evaluation, we introduce Cine-Benchmark, a comprehensive evaluation protocol that assesses reconstructions across semantic and perceptual dimensions. Experimental results demonstrate that CineSync achieves state-of-the-art video reconstruction performance and highlight our initial success in combining fMRI and EEG for reconstructing both video and audio stimuli. Project Page: https://jianxgao.github.io/CineBrain.