Dynadiff: 連続的に進化するfMRIからの画像のワンステージデコード

要旨

脳活動から画像をデコードする技術は、生成AIモデルの進歩と大規模な超高磁場機能的磁気共鳴画像法（fMRI）データの利用可能性によって最近大きく進展しています。しかし、現在のアプローチは複雑な多段階パイプラインと前処理ステップに依存しており、通常は脳記録の時間次元を圧縮してしまうため、時間分解能を持つ脳デコーダの開発が制限されています。本論文では、動的に変化するfMRI記録から画像を再構築するために設計された新しい単段階拡散モデル、Dynadiff（Dynamic Neural Activity Diffusion for Image Reconstruction）を紹介します。我々のアプローチは3つの主要な貢献を提供します。第一に、Dynadiffは既存のアプローチと比較して訓練を簡素化します。第二に、我々のモデルは時間分解能を持つfMRI信号において、特に高レベルの意味的画像再構築メトリクスで最先端のモデルを上回り、時間を圧縮した前処理済みfMRIデータにおいても競争力を維持します。第三に、このアプローチは脳活動における画像表現の進化を精密に特徴付けることを可能にします。全体として、この研究は時間分解能を持つ脳から画像へのデコードの基盤を築きます。

English

Brain-to-image decoding has been recently propelled by the progress in generative AI models and the availability of large ultra-high field functional Magnetic Resonance Imaging (fMRI). However, current approaches depend on complicated multi-stage pipelines and preprocessing steps that typically collapse the temporal dimension of brain recordings, thereby limiting time-resolved brain decoders. Here, we introduce Dynadiff (Dynamic Neural Activity Diffusion for Image Reconstruction), a new single-stage diffusion model designed for reconstructing images from dynamically evolving fMRI recordings. Our approach offers three main contributions. First, Dynadiff simplifies training as compared to existing approaches. Second, our model outperforms state-of-the-art models on time-resolved fMRI signals, especially on high-level semantic image reconstruction metrics, while remaining competitive on preprocessed fMRI data that collapse time. Third, this approach allows a precise characterization of the evolution of image representations in brain activity. Overall, this work lays the foundation for time-resolved brain-to-image decoding.

Dynadiff: 連続的に進化するfMRIからの画像のワンステージデコード

Dynadiff: Single-stage Decoding of Images from Continuously Evolving fMRI

要旨

Support