MindEye2: Modelos de Sujeito Compartilhado Habilitam fMRI-Para-Imagem com Apenas 1 Hora de Dados

MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data

March 17, 2024

Autores: Paul S. Scotti, Mihir Tripathy, Cesar Kadir Torrico Villanueva, Reese Kneeland, Tong Chen, Ashutosh Narang, Charan Santhirasegaran, Jonathan Xu, Thomas Naselaris, Kenneth A. Norman, Tanishq Mathew Abraham

cs.AI

Resumo

As reconstruções da percepção visual a partir da atividade cerebral melhoraram significativamente, mas a utilidade prática desses métodos tem sido limitada. Isso ocorre porque tais modelos são treinados de forma independente por sujeito, onde cada sujeito requer dezenas de horas de dados de treinamento caros de fMRI para alcançar resultados de alta qualidade. O presente trabalho demonstra reconstruções de alta qualidade utilizando apenas 1 hora de dados de treinamento de fMRI. Pré-treinamos nosso modelo em 7 sujeitos e, em seguida, ajustamos finamente com dados mínimos de um novo sujeito. Nosso novo procedimento de alinhamento funcional mapeia linearmente todos os dados cerebrais para um espaço latente compartilhado entre sujeitos, seguido por um mapeamento não linear compartilhado para o espaço de imagens CLIP. Em seguida, mapeamos do espaço CLIP para o espaço de pixels ajustando finamente o Stable Diffusion XL para aceitar latentes CLIP como entradas em vez de texto. Essa abordagem melhora a generalização fora do sujeito com dados de treinamento limitados e também alcança métricas de recuperação e reconstrução de imagens de última geração em comparação com abordagens de sujeito único. O MindEye2 demonstra como reconstruções precisas da percepção são possíveis a partir de uma única visita à instalação de ressonância magnética. Todo o código está disponível no GitHub.

English

Reconstructions of visual perception from brain activity have improved tremendously, but the practical utility of such methods has been limited. This is because such models are trained independently per subject where each subject requires dozens of hours of expensive fMRI training data to attain high-quality results. The present work showcases high-quality reconstructions using only 1 hour of fMRI training data. We pretrain our model across 7 subjects and then fine-tune on minimal data from a new subject. Our novel functional alignment procedure linearly maps all brain data to a shared-subject latent space, followed by a shared non-linear mapping to CLIP image space. We then map from CLIP space to pixel space by fine-tuning Stable Diffusion XL to accept CLIP latents as inputs instead of text. This approach improves out-of-subject generalization with limited training data and also attains state-of-the-art image retrieval and reconstruction metrics compared to single-subject approaches. MindEye2 demonstrates how accurate reconstructions of perception are possible from a single visit to the MRI facility. All code is available on GitHub.