CineBrain：自然主義的視聴覚ナラティブ処理中の大規模マルチモーダル脳データセット

CineBrain: A Large-Scale Multi-Modal Brain Dataset During Naturalistic Audiovisual Narrative Processing

March 10, 2025

著者: Jianxiong Gao, Yichang Liu, Baofeng Yang, Jianfeng Feng, Yanwei Fu

cs.AI

要旨

本論文では、動的な視聴覚刺激中のEEG（脳波）とfMRI（機能的磁気共鳴画像法）の同時記録を特徴とする初の大規模データセット、CineBrainを紹介します。EEGの高い時間分解能とfMRIの深部脳空間カバレッジの相補的な強みを認識し、CineBrainは人気テレビシリーズ『The Big Bang Theory』からの約6時間の物語駆動型コンテンツを6名の被験者それぞれに対して提供します。このユニークなデータセットを基盤として、マルチモーダル融合エンコーダと拡散ベースのニューラル潜在デコーダを統合した革新的なマルチモーダルデコーディングフレームワーク、CineSyncを提案します。我々のアプローチはEEGとfMRI信号を効果的に融合し、複雑な視聴覚刺激の再構成品質を大幅に向上させます。厳密な評価を促進するため、意味的および知覚的次元にわたる再構成を評価する包括的な評価プロトコル、Cine-Benchmarkを導入します。実験結果は、CineSyncが最先端のビデオ再構成性能を達成し、fMRIとEEGを組み合わせてビデオおよびオーディオ刺激を再構成する我々の初期の成功を強調しています。プロジェクトページ: https://jianxgao.github.io/CineBrain。

English

In this paper, we introduce CineBrain, the first large-scale dataset featuring simultaneous EEG and fMRI recordings during dynamic audiovisual stimulation. Recognizing the complementary strengths of EEG's high temporal resolution and fMRI's deep-brain spatial coverage, CineBrain provides approximately six hours of narrative-driven content from the popular television series The Big Bang Theory for each of six participants. Building upon this unique dataset, we propose CineSync, an innovative multimodal decoding framework integrates a Multi-Modal Fusion Encoder with a diffusion-based Neural Latent Decoder. Our approach effectively fuses EEG and fMRI signals, significantly improving the reconstruction quality of complex audiovisual stimuli. To facilitate rigorous evaluation, we introduce Cine-Benchmark, a comprehensive evaluation protocol that assesses reconstructions across semantic and perceptual dimensions. Experimental results demonstrate that CineSync achieves state-of-the-art video reconstruction performance and highlight our initial success in combining fMRI and EEG for reconstructing both video and audio stimuli. Project Page: https://jianxgao.github.io/CineBrain.