Dynadiff: 지속적으로 진화하는 fMRI 이미지의 단일 단계 디코딩

초록

뇌-이미지 디코딩은 최근 생성형 AI 모델의 발전과 대규모 초고자기장 기능적 자기공명영상(fMRI) 데이터의 가용성으로 인해 크게 진전되었습니다. 그러나 현재의 접근 방식은 복잡한 다단계 파이프라인과 전처리 단계에 의존하며, 이는 일반적으로 뇌 기록의 시간적 차원을 축소함으로써 시간 해상도가 높은 뇌 디코더의 성능을 제한합니다. 본 연구에서는 동적으로 변화하는 fMRI 기록에서 이미지를 재구성하기 위해 설계된 새로운 단일 단계 확산 모델인 Dynadiff(동적 신경 활동 확산을 통한 이미지 재구성)를 소개합니다. 우리의 접근 방식은 세 가지 주요 기여를 제공합니다. 첫째, Dynadiff는 기존 접근 방식에 비해 학습 과정을 단순화합니다. 둘째, 우리의 모델은 시간 해상도가 높은 fMRI 신호에서 특히 고수준 의미론적 이미지 재구성 지표에서 최첨단 모델을 능가하며, 시간 차원이 축소된 전처리된 fMRI 데이터에서도 경쟁력을 유지합니다. 셋째, 이 접근 방식은 뇌 활동에서 이미지 표현의 진화를 정밀하게 특성화할 수 있게 합니다. 전반적으로, 이 연구는 시간 해상도가 높은 뇌-이미지 디코딩의 기반을 마련합니다.

English

Brain-to-image decoding has been recently propelled by the progress in generative AI models and the availability of large ultra-high field functional Magnetic Resonance Imaging (fMRI). However, current approaches depend on complicated multi-stage pipelines and preprocessing steps that typically collapse the temporal dimension of brain recordings, thereby limiting time-resolved brain decoders. Here, we introduce Dynadiff (Dynamic Neural Activity Diffusion for Image Reconstruction), a new single-stage diffusion model designed for reconstructing images from dynamically evolving fMRI recordings. Our approach offers three main contributions. First, Dynadiff simplifies training as compared to existing approaches. Second, our model outperforms state-of-the-art models on time-resolved fMRI signals, especially on high-level semantic image reconstruction metrics, while remaining competitive on preprocessed fMRI data that collapse time. Third, this approach allows a precise characterization of the evolution of image representations in brain activity. Overall, this work lays the foundation for time-resolved brain-to-image decoding.

Dynadiff: 지속적으로 진화하는 fMRI 이미지의 단일 단계 디코딩

Dynadiff: Single-stage Decoding of Images from Continuously Evolving fMRI

초록

Support