Dynadiff: Decodificação em estágio único de imagens a partir de fMRI em evolução contínua

Dynadiff: Single-stage Decoding of Images from Continuously Evolving fMRI

May 20, 2025

Autores: Marlène Careil, Yohann Benchetrit, Jean-Rémi King

cs.AI

Resumo

A decodificação de imagens a partir da atividade cerebral tem sido recentemente impulsionada pelos avanços em modelos generativos de IA e pela disponibilidade de grandes conjuntos de dados de ressonância magnética funcional (fMRI) de campo ultra-alto. No entanto, as abordagens atuais dependem de pipelines multiestágios complexos e etapas de pré-processamento que geralmente colapsam a dimensão temporal dos registros cerebrais, limitando assim os decodificadores cerebrais com resolução temporal. Aqui, apresentamos o Dynadiff (Dynamic Neural Activity Diffusion for Image Reconstruction), um novo modelo de difusão em estágio único projetado para reconstruir imagens a partir de registros de fMRI que evoluem dinamicamente. Nossa abordagem oferece três contribuições principais. Primeiro, o Dynadiff simplifica o treinamento em comparação com as abordagens existentes. Segundo, nosso modelo supera os modelos de última geração em sinais de fMRI com resolução temporal, especialmente em métricas de reconstrução de imagens semânticas de alto nível, mantendo-se competitivo em dados de fMRI pré-processados que colapsam o tempo. Terceiro, essa abordagem permite uma caracterização precisa da evolução das representações de imagens na atividade cerebral. No geral, este trabalho estabelece as bases para a decodificação de imagens a partir da atividade cerebral com resolução temporal.

English

Brain-to-image decoding has been recently propelled by the progress in generative AI models and the availability of large ultra-high field functional Magnetic Resonance Imaging (fMRI). However, current approaches depend on complicated multi-stage pipelines and preprocessing steps that typically collapse the temporal dimension of brain recordings, thereby limiting time-resolved brain decoders. Here, we introduce Dynadiff (Dynamic Neural Activity Diffusion for Image Reconstruction), a new single-stage diffusion model designed for reconstructing images from dynamically evolving fMRI recordings. Our approach offers three main contributions. First, Dynadiff simplifies training as compared to existing approaches. Second, our model outperforms state-of-the-art models on time-resolved fMRI signals, especially on high-level semantic image reconstruction metrics, while remaining competitive on preprocessed fMRI data that collapse time. Third, this approach allows a precise characterization of the evolution of image representations in brain activity. Overall, this work lays the foundation for time-resolved brain-to-image decoding.