Dynadiff: Decodificación en una sola etapa de imágenes a partir de fMRI en evolución continua

Dynadiff: Single-stage Decoding of Images from Continuously Evolving fMRI

May 20, 2025

Autores: Marlène Careil, Yohann Benchetrit, Jean-Rémi King

cs.AI

Resumen

La decodificación de cerebro a imagen ha avanzado recientemente gracias al progreso en los modelos generativos de IA y a la disponibilidad de imágenes de resonancia magnética funcional (fMRI) de campo ultra alto de gran escala. Sin embargo, los enfoques actuales dependen de complejas tuberías de múltiples etapas y pasos de preprocesamiento que típicamente colapsan la dimensión temporal de las grabaciones cerebrales, limitando así los decodificadores cerebrales con resolución temporal. Aquí presentamos Dynadiff (Difusión de Actividad Neural Dinámica para la Reconstrucción de Imágenes), un nuevo modelo de difusión de una sola etapa diseñado para reconstruir imágenes a partir de grabaciones fMRI que evolucionan dinámicamente. Nuestro enfoque ofrece tres contribuciones principales. Primero, Dynadiff simplifica el entrenamiento en comparación con los enfoques existentes. Segundo, nuestro modelo supera a los modelos de vanguardia en señales fMRI con resolución temporal, especialmente en métricas de reconstrucción de imágenes semánticas de alto nivel, mientras se mantiene competitivo en datos fMRI preprocesados que colapsan el tiempo. Tercero, este enfoque permite una caracterización precisa de la evolución de las representaciones de imágenes en la actividad cerebral. En general, este trabajo sienta las bases para la decodificación de cerebro a imagen con resolución temporal.

English

Brain-to-image decoding has been recently propelled by the progress in generative AI models and the availability of large ultra-high field functional Magnetic Resonance Imaging (fMRI). However, current approaches depend on complicated multi-stage pipelines and preprocessing steps that typically collapse the temporal dimension of brain recordings, thereby limiting time-resolved brain decoders. Here, we introduce Dynadiff (Dynamic Neural Activity Diffusion for Image Reconstruction), a new single-stage diffusion model designed for reconstructing images from dynamically evolving fMRI recordings. Our approach offers three main contributions. First, Dynadiff simplifies training as compared to existing approaches. Second, our model outperforms state-of-the-art models on time-resolved fMRI signals, especially on high-level semantic image reconstruction metrics, while remaining competitive on preprocessed fMRI data that collapse time. Third, this approach allows a precise characterization of the evolution of image representations in brain activity. Overall, this work lays the foundation for time-resolved brain-to-image decoding.