MindEye2: Modelle mit gemeinsamem Subjekt ermöglichen fMRI-zu-Bild mit einer Stunde Daten

MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data

March 17, 2024

Autoren: Paul S. Scotti, Mihir Tripathy, Cesar Kadir Torrico Villanueva, Reese Kneeland, Tong Chen, Ashutosh Narang, Charan Santhirasegaran, Jonathan Xu, Thomas Naselaris, Kenneth A. Norman, Tanishq Mathew Abraham

cs.AI

Zusammenfassung

Die Rekonstruktionen der visuellen Wahrnehmung aus Hirnaktivität haben sich enorm verbessert, aber die praktische Anwendbarkeit solcher Methoden war begrenzt. Dies liegt daran, dass solche Modelle unabhängig pro Teilnehmer trainiert werden, wobei jeder Teilnehmer Dutzende von Stunden teurer fMRT-Trainingsdaten benötigt, um qualitativ hochwertige Ergebnisse zu erzielen. Die vorliegende Arbeit präsentiert hochwertige Rekonstruktionen, die nur 1 Stunde fMRT-Trainingsdaten verwenden. Wir trainieren unser Modell vorab über 7 Teilnehmer und feinabstimmen es dann mit minimalen Daten eines neuen Teilnehmers. Unser neuartiges funktionales Ausrichtungsverfahren kartiert alle Hirndaten linear in einen gemeinsamen latenten Raum pro Teilnehmer, gefolgt von einer gemeinsamen nichtlinearen Zuordnung zum CLIP-Bildraum. Anschließend kartieren wir vom CLIP-Raum in den Pixelraum, indem wir Stable Diffusion XL feinabstimmen, um CLIP-Latenzen als Eingaben anstelle von Text zu akzeptieren. Dieser Ansatz verbessert die Generalisierung über Teilnehmer hinweg mit begrenzten Trainingsdaten und erreicht auch Spitzenwerte bei Bildabruf- und Rekonstruktionsmetriken im Vergleich zu Einzelteilnehmeransätzen. MindEye2 zeigt, wie präzise Rekonstruktionen der Wahrnehmung möglich sind, nach nur einem Besuch im MRT-Zentrum. Der gesamte Code ist auf GitHub verfügbar.

English

Reconstructions of visual perception from brain activity have improved tremendously, but the practical utility of such methods has been limited. This is because such models are trained independently per subject where each subject requires dozens of hours of expensive fMRI training data to attain high-quality results. The present work showcases high-quality reconstructions using only 1 hour of fMRI training data. We pretrain our model across 7 subjects and then fine-tune on minimal data from a new subject. Our novel functional alignment procedure linearly maps all brain data to a shared-subject latent space, followed by a shared non-linear mapping to CLIP image space. We then map from CLIP space to pixel space by fine-tuning Stable Diffusion XL to accept CLIP latents as inputs instead of text. This approach improves out-of-subject generalization with limited training data and also attains state-of-the-art image retrieval and reconstruction metrics compared to single-subject approaches. MindEye2 demonstrates how accurate reconstructions of perception are possible from a single visit to the MRI facility. All code is available on GitHub.