Dynadiff: Einstufige Dekodierung von Bildern aus kontinuierlich sich entwickelnden fMRT-Daten
Dynadiff: Single-stage Decoding of Images from Continuously Evolving fMRI
May 20, 2025
Autoren: Marlène Careil, Yohann Benchetrit, Jean-Rémi King
cs.AI
Zusammenfassung
Die Dekodierung von Gehirn zu Bild wurde in jüngster Zeit durch Fortschritte bei generativen KI-Modellen und die Verfügbarkeit von groß angelegten Ultrahochfeld-funktionellen Magnetresonanztomographie (fMRI)-Daten vorangetrieben. Allerdings basieren aktuelle Ansätze auf komplexen mehrstufigen Pipelines und Vorverarbeitungsschritten, die typischerweise die zeitliche Dimension von Gehirnaufnahmen zusammenfassen und dadurch zeitaufgelöste Gehirndekodierer einschränken. Hier stellen wir Dynadiff (Dynamic Neural Activity Diffusion for Image Reconstruction) vor, ein neues einstufiges Diffusionsmodell, das für die Rekonstruktion von Bildern aus sich dynamisch entwickelnden fMRI-Aufnahmen entwickelt wurde. Unser Ansatz bietet drei Hauptbeiträge. Erstens vereinfacht Dynadiff das Training im Vergleich zu bestehenden Ansätzen. Zweitens übertrifft unser Modell state-of-the-art Modelle bei zeitaufgelösten fMRI-Signalen, insbesondere bei Metriken zur Rekonstruktion von Bildern auf hoher semantischer Ebene, während es bei vorverarbeiteten fMRI-Daten, die die Zeitdimension zusammenfassen, wettbewerbsfähig bleibt. Drittens ermöglicht dieser Ansatz eine präzise Charakterisierung der Entwicklung von Bildrepräsentationen in der Gehirnaktivität. Insgesamt legt diese Arbeit die Grundlage für zeitaufgelöste Gehirn-zu-Bild-Dekodierung.
English
Brain-to-image decoding has been recently propelled by the progress in
generative AI models and the availability of large ultra-high field functional
Magnetic Resonance Imaging (fMRI). However, current approaches depend on
complicated multi-stage pipelines and preprocessing steps that typically
collapse the temporal dimension of brain recordings, thereby limiting
time-resolved brain decoders. Here, we introduce Dynadiff (Dynamic Neural
Activity Diffusion for Image Reconstruction), a new single-stage diffusion
model designed for reconstructing images from dynamically evolving fMRI
recordings. Our approach offers three main contributions. First, Dynadiff
simplifies training as compared to existing approaches. Second, our model
outperforms state-of-the-art models on time-resolved fMRI signals, especially
on high-level semantic image reconstruction metrics, while remaining
competitive on preprocessed fMRI data that collapse time. Third, this approach
allows a precise characterization of the evolution of image representations in
brain activity. Overall, this work lays the foundation for time-resolved
brain-to-image decoding.