Dynadiff : Décodage en une seule étape d'images à partir de l'IRMf en évolution continue

Dynadiff: Single-stage Decoding of Images from Continuously Evolving fMRI

May 20, 2025

Auteurs: Marlène Careil, Yohann Benchetrit, Jean-Rémi King

cs.AI

Résumé

Le décodage cerveau-image a récemment été propulsé par les progrès des modèles d'IA générative et la disponibilité de grandes quantités de données d'imagerie par résonance magnétique fonctionnelle (IRMf) à ultra-haut champ. Cependant, les approches actuelles dépendent de pipelines multi-étapes complexes et d'étapes de prétraitement qui réduisent généralement la dimension temporelle des enregistrements cérébraux, limitant ainsi les décodeurs cérébraux résolus dans le temps. Nous présentons ici Dynadiff (Dynamic Neural Activity Diffusion for Image Reconstruction), un nouveau modèle de diffusion en une seule étape conçu pour reconstruire des images à partir d'enregistrements IRMf en évolution dynamique. Notre approche apporte trois contributions principales. Premièrement, Dynadiff simplifie l'entraînement par rapport aux approches existantes. Deuxièmement, notre modèle surpasse les modèles de pointe sur les signaux IRMf résolus dans le temps, en particulier sur les métriques de reconstruction sémantique de haut niveau, tout en restant compétitif sur les données IRMf prétraitées qui réduisent le temps. Troisièmement, cette approche permet une caractérisation précise de l'évolution des représentations d'images dans l'activité cérébrale. Globalement, ce travail pose les bases du décodage cerveau-image résolu dans le temps.

English

Brain-to-image decoding has been recently propelled by the progress in generative AI models and the availability of large ultra-high field functional Magnetic Resonance Imaging (fMRI). However, current approaches depend on complicated multi-stage pipelines and preprocessing steps that typically collapse the temporal dimension of brain recordings, thereby limiting time-resolved brain decoders. Here, we introduce Dynadiff (Dynamic Neural Activity Diffusion for Image Reconstruction), a new single-stage diffusion model designed for reconstructing images from dynamically evolving fMRI recordings. Our approach offers three main contributions. First, Dynadiff simplifies training as compared to existing approaches. Second, our model outperforms state-of-the-art models on time-resolved fMRI signals, especially on high-level semantic image reconstruction metrics, while remaining competitive on preprocessed fMRI data that collapse time. Third, this approach allows a precise characterization of the evolution of image representations in brain activity. Overall, this work lays the foundation for time-resolved brain-to-image decoding.