MindEye2: Модели с общим объектом позволяют преобразование данных fMRI в изображение за 1 час данных

MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data

March 17, 2024

Авторы: Paul S. Scotti, Mihir Tripathy, Cesar Kadir Torrico Villanueva, Reese Kneeland, Tong Chen, Ashutosh Narang, Charan Santhirasegaran, Jonathan Xu, Thomas Naselaris, Kenneth A. Norman, Tanishq Mathew Abraham

cs.AI

Аннотация

Восстановление визуального восприятия из активности мозга значительно улучшилось, однако практическая применимость таких методов ограничена. Это связано с тем, что такие модели обучаются независимо для каждого испытуемого, где каждому испытуемому требуется десятки часов дорогих данных fMRI для достижения высококачественных результатов. Настоящая работа демонстрирует высококачественные восстановления, используя всего 1 час обучающих данных fMRI. Мы предварительно обучаем нашу модель на 7 испытуемых, а затем донастраиваем на минимальных данных нового испытуемого. Наша новаторская процедура функциональной выравнивания линейно отображает все данные мозга в общее латентное пространство субъекта, за которым следует общее нелинейное отображение в пространство изображений CLIP. Затем мы отображаем из пространства CLIP в пространство пикселей, донастраивая Stable Diffusion XL для принятия латентов CLIP в качестве входных данных вместо текста. Этот подход улучшает обобщение за пределы испытуемого с ограниченными обучающими данными и также достигает метрик поиска и восстановления изображений наилучшего качества по сравнению с подходами для одного испытуемого. MindEye2 демонстрирует, как точные восстановления восприятия возможны после одного посещения в МРТ-центре. Весь код доступен на GitHub.

English

Reconstructions of visual perception from brain activity have improved tremendously, but the practical utility of such methods has been limited. This is because such models are trained independently per subject where each subject requires dozens of hours of expensive fMRI training data to attain high-quality results. The present work showcases high-quality reconstructions using only 1 hour of fMRI training data. We pretrain our model across 7 subjects and then fine-tune on minimal data from a new subject. Our novel functional alignment procedure linearly maps all brain data to a shared-subject latent space, followed by a shared non-linear mapping to CLIP image space. We then map from CLIP space to pixel space by fine-tuning Stable Diffusion XL to accept CLIP latents as inputs instead of text. This approach improves out-of-subject generalization with limited training data and also attains state-of-the-art image retrieval and reconstruction metrics compared to single-subject approaches. MindEye2 demonstrates how accurate reconstructions of perception are possible from a single visit to the MRI facility. All code is available on GitHub.