CineBrain: Een grootschalige multimodale hersendataset tijdens natuurlijke audiovisuele narratieve verwerking

CineBrain: A Large-Scale Multi-Modal Brain Dataset During Naturalistic Audiovisual Narrative Processing

March 10, 2025

Auteurs: Jianxiong Gao, Yichang Liu, Baofeng Yang, Jianfeng Feng, Yanwei Fu

cs.AI

Samenvatting

In dit artikel introduceren we CineBrain, de eerste grootschalige dataset met gelijktijdige EEG- en fMRI-opnames tijdens dynamische audiovisuele stimulatie. Erkennend dat EEG een hoge temporele resolutie biedt en fMRI een diepe ruimtelijke dekking van de hersenen, bevat CineBrain ongeveer zes uur aan narratief gedreven content van de populaire televisieserie The Big Bang Theory voor elk van de zes deelnemers. Op basis van deze unieke dataset stellen we CineSync voor, een innovatief multimodaal decodeerframework dat een Multi-Modal Fusion Encoder integreert met een op diffusie gebaseerde Neural Latent Decoder. Onze aanpak combineert EEG- en fMRI-signalen effectief en verbetert de reconstructiekwaliteit van complexe audiovisuele stimuli aanzienlijk. Om een rigoureuze evaluatie mogelijk te maken, introduceren we Cine-Benchmark, een uitgebreid evaluatieprotocol dat reconstructies beoordeelt op zowel semantische als perceptuele dimensies. Experimentele resultaten tonen aan dat CineSync state-of-the-art videoreconstructieprestaties bereikt en benadrukken ons initiële succes in het combineren van fMRI en EEG voor het reconstrueren van zowel video- als audiostimuli. Projectpagina: https://jianxgao.github.io/CineBrain.

English

In this paper, we introduce CineBrain, the first large-scale dataset featuring simultaneous EEG and fMRI recordings during dynamic audiovisual stimulation. Recognizing the complementary strengths of EEG's high temporal resolution and fMRI's deep-brain spatial coverage, CineBrain provides approximately six hours of narrative-driven content from the popular television series The Big Bang Theory for each of six participants. Building upon this unique dataset, we propose CineSync, an innovative multimodal decoding framework integrates a Multi-Modal Fusion Encoder with a diffusion-based Neural Latent Decoder. Our approach effectively fuses EEG and fMRI signals, significantly improving the reconstruction quality of complex audiovisual stimuli. To facilitate rigorous evaluation, we introduce Cine-Benchmark, a comprehensive evaluation protocol that assesses reconstructions across semantic and perceptual dimensions. Experimental results demonstrate that CineSync achieves state-of-the-art video reconstruction performance and highlight our initial success in combining fMRI and EEG for reconstructing both video and audio stimuli. Project Page: https://jianxgao.github.io/CineBrain.