MindEye2: Gedeelde-onderzoekssubjectmodellen maken fMRI-naar-beeld mogelijk met slechts 1 uur aan data

MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data

March 17, 2024

Auteurs: Paul S. Scotti, Mihir Tripathy, Cesar Kadir Torrico Villanueva, Reese Kneeland, Tong Chen, Ashutosh Narang, Charan Santhirasegaran, Jonathan Xu, Thomas Naselaris, Kenneth A. Norman, Tanishq Mathew Abraham

cs.AI

Samenvatting

Reconstructies van visuele waarneming uit hersenactiviteit zijn enorm verbeterd, maar de praktische bruikbaarheid van dergelijke methoden is beperkt gebleven. Dit komt doordat dergelijke modellen onafhankelijk per proefpersoon worden getraind, waarbij elke proefpersoon tientallen uren dure fMRI-trainingsdata nodig heeft om hoogwaardige resultaten te behalen. Dit werk toont hoogwaardige reconstructies met slechts 1 uur fMRI-trainingsdata. We pretrainen ons model over 7 proefpersonen en finetunen vervolgens op minimale data van een nieuwe proefpersoon. Onze nieuwe functionele aligneringsprocedure brengt alle hersendata lineair in kaart naar een gedeelde latente ruimte, gevolgd door een gedeelde niet-lineaire mapping naar de CLIP-beeldruimte. Vervolgens mappen we van de CLIP-ruimte naar de pixelruimte door Stable Diffusion XL te finetunen om CLIP-latenten als invoer te accepteren in plaats van tekst. Deze aanpak verbetert de generalisatie buiten de proefpersoon met beperkte trainingsdata en behaalt ook state-of-the-art metrieken voor beeldretrieval en reconstructie in vergelijking met benaderingen voor één proefpersoon. MindEye2 laat zien hoe nauwkeurige reconstructies van waarneming mogelijk zijn na een enkel bezoek aan de MRI-faciliteit. Alle code is beschikbaar op GitHub.

English

Reconstructions of visual perception from brain activity have improved tremendously, but the practical utility of such methods has been limited. This is because such models are trained independently per subject where each subject requires dozens of hours of expensive fMRI training data to attain high-quality results. The present work showcases high-quality reconstructions using only 1 hour of fMRI training data. We pretrain our model across 7 subjects and then fine-tune on minimal data from a new subject. Our novel functional alignment procedure linearly maps all brain data to a shared-subject latent space, followed by a shared non-linear mapping to CLIP image space. We then map from CLIP space to pixel space by fine-tuning Stable Diffusion XL to accept CLIP latents as inputs instead of text. This approach improves out-of-subject generalization with limited training data and also attains state-of-the-art image retrieval and reconstruction metrics compared to single-subject approaches. MindEye2 demonstrates how accurate reconstructions of perception are possible from a single visit to the MRI facility. All code is available on GitHub.