MindEye2 : Des modèles partagés entre sujets permettent la reconstruction d'images à partir de l'IRMf avec seulement 1 heure de données

MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data

March 17, 2024

Auteurs: Paul S. Scotti, Mihir Tripathy, Cesar Kadir Torrico Villanueva, Reese Kneeland, Tong Chen, Ashutosh Narang, Charan Santhirasegaran, Jonathan Xu, Thomas Naselaris, Kenneth A. Norman, Tanishq Mathew Abraham

cs.AI

Résumé

Les reconstructions de la perception visuelle à partir de l'activité cérébrale se sont considérablement améliorées, mais l'utilité pratique de ces méthodes reste limitée. Cela s'explique par le fait que ces modèles sont entraînés indépendamment pour chaque sujet, nécessitant des dizaines d'heures de données d'entraînement coûteuses issues de l'IRMf pour obtenir des résultats de haute qualité. Ce travail présente des reconstructions de haute qualité en utilisant seulement 1 heure de données d'entraînement par IRMf. Nous pré-entraînons notre modèle sur 7 sujets, puis l'affinons avec un minimum de données provenant d'un nouveau sujet. Notre nouvelle procédure d'alignement fonctionnel projette linéairement toutes les données cérébrales dans un espace latent partagé entre les sujets, suivi d'une transformation non linéaire commune vers l'espace d'images CLIP. Nous effectuons ensuite une transition de l'espace CLIP vers l'espace pixel en affinant Stable Diffusion XL pour qu'il accepte des latents CLIP comme entrées au lieu de texte. Cette approche améliore la généralisation hors-sujet avec des données d'entraînement limitées et atteint également des performances de pointe en matière de recherche et de reconstruction d'images par rapport aux méthodes centrées sur un seul sujet. MindEye2 démontre que des reconstructions précises de la perception sont possibles à partir d'une seule visite dans un centre d'IRM. L'intégralité du code est disponible sur GitHub.

English

Reconstructions of visual perception from brain activity have improved tremendously, but the practical utility of such methods has been limited. This is because such models are trained independently per subject where each subject requires dozens of hours of expensive fMRI training data to attain high-quality results. The present work showcases high-quality reconstructions using only 1 hour of fMRI training data. We pretrain our model across 7 subjects and then fine-tune on minimal data from a new subject. Our novel functional alignment procedure linearly maps all brain data to a shared-subject latent space, followed by a shared non-linear mapping to CLIP image space. We then map from CLIP space to pixel space by fine-tuning Stable Diffusion XL to accept CLIP latents as inputs instead of text. This approach improves out-of-subject generalization with limited training data and also attains state-of-the-art image retrieval and reconstruction metrics compared to single-subject approaches. MindEye2 demonstrates how accurate reconstructions of perception are possible from a single visit to the MRI facility. All code is available on GitHub.