Dynadiff: Enkelfasige decodering van afbeeldingen uit continu evoluerende fMRI

Dynadiff: Single-stage Decoding of Images from Continuously Evolving fMRI

May 20, 2025

Auteurs: Marlène Careil, Yohann Benchetrit, Jean-Rémi King

cs.AI

Samenvatting

Hersenen-naar-beeld decodering is recentelijk vooruitgestuwd door de vooruitgang in generatieve AI-modellen en de beschikbaarheid van grootschalige ultra-hoogveld functionele Magnetische Resonantie Imaging (fMRI). Huidige benaderingen zijn echter afhankelijk van ingewikkelde, meerfasige pijplijnen en voorbewerkingsstappen die doorgaans de temporele dimensie van hersenopnames samenvouwen, waardoor tijdopgeloste hersendecoders worden beperkt. Hier introduceren we Dynadiff (Dynamic Neural Activity Diffusion for Image Reconstruction), een nieuw eenfasig diffusiemodel ontworpen voor het reconstrueren van beelden uit dynamisch evoluerende fMRI-opnames. Onze benadering biedt drie belangrijke bijdragen. Ten eerste vereenvoudigt Dynadiff de training in vergelijking met bestaande benaderingen. Ten tweede presteert ons model beter dan state-of-the-art modellen op tijdopgeloste fMRI-signalen, met name op semantische beeldreconstructiemetrieken op hoog niveau, terwijl het competitief blijft op voorbewerkte fMRI-gegevens waarbij tijd wordt samengevouwen. Ten derde maakt deze benadering een nauwkeurige karakterisering mogelijk van de evolutie van beeldrepresentaties in hersenactiviteit. Over het geheel genomen legt dit werk de basis voor tijdopgeloste hersenen-naar-beeld decodering.

English

Brain-to-image decoding has been recently propelled by the progress in generative AI models and the availability of large ultra-high field functional Magnetic Resonance Imaging (fMRI). However, current approaches depend on complicated multi-stage pipelines and preprocessing steps that typically collapse the temporal dimension of brain recordings, thereby limiting time-resolved brain decoders. Here, we introduce Dynadiff (Dynamic Neural Activity Diffusion for Image Reconstruction), a new single-stage diffusion model designed for reconstructing images from dynamically evolving fMRI recordings. Our approach offers three main contributions. First, Dynadiff simplifies training as compared to existing approaches. Second, our model outperforms state-of-the-art models on time-resolved fMRI signals, especially on high-level semantic image reconstruction metrics, while remaining competitive on preprocessed fMRI data that collapse time. Third, this approach allows a precise characterization of the evolution of image representations in brain activity. Overall, this work lays the foundation for time-resolved brain-to-image decoding.