MindEye2: Modelli condivisi tra soggetti consentono la ricostruzione di immagini da fMRI con solo 1 ora di dati

MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data

March 17, 2024

Autori: Paul S. Scotti, Mihir Tripathy, Cesar Kadir Torrico Villanueva, Reese Kneeland, Tong Chen, Ashutosh Narang, Charan Santhirasegaran, Jonathan Xu, Thomas Naselaris, Kenneth A. Norman, Tanishq Mathew Abraham

cs.AI

Abstract

Le ricostruzioni della percezione visiva dall'attività cerebrale sono migliorate enormemente, ma l'utilità pratica di tali metodi è stata limitata. Ciò è dovuto al fatto che tali modelli vengono addestrati in modo indipendente per ogni soggetto, dove ciascun soggetto richiede decine di ore di costosi dati di addestramento fMRI per ottenere risultati di alta qualità. Il presente lavoro dimostra ricostruzioni di alta qualità utilizzando solo 1 ora di dati di addestramento fMRI. Pre-addestriamo il nostro modello su 7 soggetti e poi lo perfezioniamo su dati minimi provenienti da un nuovo soggetto. La nostra innovativa procedura di allineamento funzionale mappa linearmente tutti i dati cerebrali in uno spazio latente condiviso tra i soggetti, seguito da una mappatura non lineare condivisa nello spazio delle immagini CLIP. Successivamente, mappiamo dallo spazio CLIP allo spazio dei pixel perfezionando Stable Diffusion XL per accettare latenti CLIP come input invece del testo. Questo approccio migliora la generalizzazione fuori dal soggetto con dati di addestramento limitati e raggiunge anche metriche all'avanguardia per il recupero e la ricostruzione delle immagini rispetto ai metodi basati su singoli soggetti. MindEye2 dimostra come ricostruzioni accurate della percezione siano possibili con una singola visita alla struttura di risonanza magnetica. Tutto il codice è disponibile su GitHub.

English

Reconstructions of visual perception from brain activity have improved tremendously, but the practical utility of such methods has been limited. This is because such models are trained independently per subject where each subject requires dozens of hours of expensive fMRI training data to attain high-quality results. The present work showcases high-quality reconstructions using only 1 hour of fMRI training data. We pretrain our model across 7 subjects and then fine-tune on minimal data from a new subject. Our novel functional alignment procedure linearly maps all brain data to a shared-subject latent space, followed by a shared non-linear mapping to CLIP image space. We then map from CLIP space to pixel space by fine-tuning Stable Diffusion XL to accept CLIP latents as inputs instead of text. This approach improves out-of-subject generalization with limited training data and also attains state-of-the-art image retrieval and reconstruction metrics compared to single-subject approaches. MindEye2 demonstrates how accurate reconstructions of perception are possible from a single visit to the MRI facility. All code is available on GitHub.