MindEye2: 共有被験者モデルによる1時間のデータでのfMRIから画像への変換

MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data

March 17, 2024

著者: Paul S. Scotti, Mihir Tripathy, Cesar Kadir Torrico Villanueva, Reese Kneeland, Tong Chen, Ashutosh Narang, Charan Santhirasegaran, Jonathan Xu, Thomas Naselaris, Kenneth A. Norman, Tanishq Mathew Abraham

cs.AI

要旨

脳活動からの視覚知覚の再構成は大幅に進化してきたが、その実用性は限られていた。これは、各被験者ごとに独立してモデルが訓練され、高品質な結果を得るために数十時間もの高価なfMRI訓練データが必要とされるためである。本研究では、わずか1時間のfMRI訓練データを用いて高品質な再構成を実現する。我々は7名の被験者にわたってモデルを事前訓練し、その後、新たな被験者の最小限のデータでファインチューニングを行う。新たに開発した機能アライメント手法により、全ての脳データを共有被験者の潜在空間に線形マッピングし、その後、CLIP画像空間への共有非線形マッピングを行う。さらに、CLIP空間からピクセル空間へのマッピングは、Stable Diffusion XLをファインチューニングして、テキストの代わりにCLIP潜在変数を入力として受け入れるようにすることで実現する。このアプローチは、限られた訓練データでの被験者外汎化を改善し、単一被験者アプローチと比較しても、画像検索および再構成の指標において最先端の性能を達成する。MindEye2は、MRI施設への単一訪問で正確な知覚再構成が可能であることを示している。全てのコードはGitHubで公開されている。

English

Reconstructions of visual perception from brain activity have improved tremendously, but the practical utility of such methods has been limited. This is because such models are trained independently per subject where each subject requires dozens of hours of expensive fMRI training data to attain high-quality results. The present work showcases high-quality reconstructions using only 1 hour of fMRI training data. We pretrain our model across 7 subjects and then fine-tune on minimal data from a new subject. Our novel functional alignment procedure linearly maps all brain data to a shared-subject latent space, followed by a shared non-linear mapping to CLIP image space. We then map from CLIP space to pixel space by fine-tuning Stable Diffusion XL to accept CLIP latents as inputs instead of text. This approach improves out-of-subject generalization with limited training data and also attains state-of-the-art image retrieval and reconstruction metrics compared to single-subject approaches. MindEye2 demonstrates how accurate reconstructions of perception are possible from a single visit to the MRI facility. All code is available on GitHub.