CineBrain: 자연스러운 오디오비주얼 내러티브 처리 과정에서 수집된 대규모 다중 모드 뇌 데이터셋

CineBrain: A Large-Scale Multi-Modal Brain Dataset During Naturalistic Audiovisual Narrative Processing

March 10, 2025

저자: Jianxiong Gao, Yichang Liu, Baofeng Yang, Jianfeng Feng, Yanwei Fu

cs.AI

초록

본 논문에서는 동적 시청각 자극 중 동시에 기록된 EEG와 fMRI 데이터를 포함한 최초의 대규모 데이터셋인 CineBrain을 소개합니다. EEG의 높은 시간 해상도와 fMRI의 깊은 뇌 공간 커버리지의 상호 보완적 강점을 인식하여, CineBrain은 인기 TV 시리즈인 'The Big Bang Theory'에서 추출한 약 6시간 분량의 내러티브 기반 콘텐츠를 6명의 참가자 각각에 대해 제공합니다. 이 독특한 데이터셋을 기반으로, 우리는 Multi-Modal Fusion Encoder와 확산 기반 Neural Latent Decoder를 통합한 혁신적인 다중 모드 디코딩 프레임워크인 CineSync를 제안합니다. 우리의 접근 방식은 EEG와 fMRI 신호를 효과적으로 융합하여 복잡한 시청각 자극의 재구성 품질을 크게 향상시킵니다. 엄격한 평가를 위해, 우리는 의미론적 및 지각적 차원에서 재구성을 평가하는 포괄적인 평가 프로토콜인 Cine-Benchmark를 도입합니다. 실험 결과는 CineSync가 최첨단 비디오 재구성 성능을 달성하며, 비디오와 오디오 자극을 재구성하기 위해 fMRI와 EEG를 결합한 초기 성공을 강조합니다. 프로젝트 페이지: https://jianxgao.github.io/CineBrain.

English

In this paper, we introduce CineBrain, the first large-scale dataset featuring simultaneous EEG and fMRI recordings during dynamic audiovisual stimulation. Recognizing the complementary strengths of EEG's high temporal resolution and fMRI's deep-brain spatial coverage, CineBrain provides approximately six hours of narrative-driven content from the popular television series The Big Bang Theory for each of six participants. Building upon this unique dataset, we propose CineSync, an innovative multimodal decoding framework integrates a Multi-Modal Fusion Encoder with a diffusion-based Neural Latent Decoder. Our approach effectively fuses EEG and fMRI signals, significantly improving the reconstruction quality of complex audiovisual stimuli. To facilitate rigorous evaluation, we introduce Cine-Benchmark, a comprehensive evaluation protocol that assesses reconstructions across semantic and perceptual dimensions. Experimental results demonstrate that CineSync achieves state-of-the-art video reconstruction performance and highlight our initial success in combining fMRI and EEG for reconstructing both video and audio stimuli. Project Page: https://jianxgao.github.io/CineBrain.