Dynadiff: Decodifica in singolo stadio di immagini da fMRI in continua evoluzione

Dynadiff: Single-stage Decoding of Images from Continuously Evolving fMRI

May 20, 2025

Autori: Marlène Careil, Yohann Benchetrit, Jean-Rémi King

cs.AI

Abstract

La decodifica da cervello a immagine ha recentemente ricevuto un impulso significativo grazie ai progressi nei modelli generativi di intelligenza artificiale e alla disponibilità di grandi quantità di dati di risonanza magnetica funzionale (fMRI) ad ultra-alto campo. Tuttavia, gli approcci attuali dipendono da pipeline multi-stadio complesse e da passaggi di pre-elaborazione che tipicamente collassano la dimensione temporale delle registrazioni cerebrali, limitando così i decodificatori cerebrali risolti nel tempo. Qui presentiamo Dynadiff (Dynamic Neural Activity Diffusion for Image Reconstruction), un nuovo modello di diffusione a singolo stadio progettato per ricostruire immagini da registrazioni fMRI in evoluzione dinamica. Il nostro approccio offre tre contributi principali. In primo luogo, Dynadiff semplifica l'addestramento rispetto agli approcci esistenti. In secondo luogo, il nostro modello supera i modelli all'avanguardia sui segnali fMRI risolti nel tempo, in particolare sulle metriche di ricostruzione semantica di alto livello delle immagini, pur rimanendo competitivo sui dati fMRI pre-elaborati che collassano il tempo. In terzo luogo, questo approccio consente una caratterizzazione precisa dell'evoluzione delle rappresentazioni delle immagini nell'attività cerebrale. Nel complesso, questo lavoro getta le basi per la decodifica da cervello a immagine risolta nel tempo.

English

Brain-to-image decoding has been recently propelled by the progress in generative AI models and the availability of large ultra-high field functional Magnetic Resonance Imaging (fMRI). However, current approaches depend on complicated multi-stage pipelines and preprocessing steps that typically collapse the temporal dimension of brain recordings, thereby limiting time-resolved brain decoders. Here, we introduce Dynadiff (Dynamic Neural Activity Diffusion for Image Reconstruction), a new single-stage diffusion model designed for reconstructing images from dynamically evolving fMRI recordings. Our approach offers three main contributions. First, Dynadiff simplifies training as compared to existing approaches. Second, our model outperforms state-of-the-art models on time-resolved fMRI signals, especially on high-level semantic image reconstruction metrics, while remaining competitive on preprocessed fMRI data that collapse time. Third, this approach allows a precise characterization of the evolution of image representations in brain activity. Overall, this work lays the foundation for time-resolved brain-to-image decoding.