Dynadiff: Одноэтапное декодирование изображений из непрерывно эволюционирующих данных фМРТ

Dynadiff: Single-stage Decoding of Images from Continuously Evolving fMRI

May 20, 2025

Авторы: Marlène Careil, Yohann Benchetrit, Jean-Rémi King

cs.AI

Аннотация

Расшифровка изображений из активности мозга получила недавно значительный импульс благодаря прогрессу в генеративных моделях искусственного интеллекта и доступности крупных наборов данных функциональной магнитно-резонансной томографии (фМРТ) сверхвысокого поля. Однако современные подходы зависят от сложных многоэтапных конвейеров и шагов предварительной обработки, которые обычно сводят временное измерение записей активности мозга, тем самым ограничивая временно-разрешенные декодеры. В данной работе мы представляем Dynadiff (Dynamic Neural Activity Diffusion for Image Reconstruction) — новую одноэтапную диффузионную модель, разработанную для реконструкции изображений из динамически изменяющихся записей фМРТ. Наш подход предлагает три основных вклада. Во-первых, Dynadiff упрощает обучение по сравнению с существующими методами. Во-вторых, наша модель превосходит современные модели на временно-разрешенных сигналах фМРТ, особенно по метрикам реконструкции изображений на уровне семантики, оставаясь при этом конкурентоспособной на предобработанных данных фМРТ, где время сводится. В-третьих, этот подход позволяет точно характеризовать эволюцию представлений изображений в активности мозга. В целом, данная работа закладывает основу для временно-разрешенной расшифровки изображений из активности мозга.

English

Brain-to-image decoding has been recently propelled by the progress in generative AI models and the availability of large ultra-high field functional Magnetic Resonance Imaging (fMRI). However, current approaches depend on complicated multi-stage pipelines and preprocessing steps that typically collapse the temporal dimension of brain recordings, thereby limiting time-resolved brain decoders. Here, we introduce Dynadiff (Dynamic Neural Activity Diffusion for Image Reconstruction), a new single-stage diffusion model designed for reconstructing images from dynamically evolving fMRI recordings. Our approach offers three main contributions. First, Dynadiff simplifies training as compared to existing approaches. Second, our model outperforms state-of-the-art models on time-resolved fMRI signals, especially on high-level semantic image reconstruction metrics, while remaining competitive on preprocessed fMRI data that collapse time. Third, this approach allows a precise characterization of the evolution of image representations in brain activity. Overall, this work lays the foundation for time-resolved brain-to-image decoding.