fMRI-3D: Ein umfassender Datensatz zur Verbesserung der fMRI-basierten 3D-Rekonstruktion.

fMRI-3D: A Comprehensive Dataset for Enhancing fMRI-based 3D Reconstruction

September 17, 2024

Autoren: Jianxiong Gao, Yuqian Fu, Yun Wang, Xuelin Qian, Jianfeng Feng, Yanwei Fu

cs.AI

Zusammenfassung

Die Rekonstruktion von 3D-Visuals aus funktionellen Magnetresonanztomographie (fMRT)-Daten, eingeführt als Recon3DMind in unserer Konferenzarbeit, ist von erheblichem Interesse sowohl für die kognitive Neurowissenschaft als auch für die Computer Vision. Um diese Aufgabe voranzutreiben, präsentieren wir das fMRT-3D-Datenset, das Daten von 15 Teilnehmern umfasst und insgesamt 4768 3D-Objekte zeigt. Das Datenset besteht aus zwei Komponenten: fMRT-Form, zuvor eingeführt und abrufbar unter https://huggingface.co/datasets/Fudan-fMRI/fMRI-Shape, und fMRT-Objaverse, in diesem Paper vorgeschlagen und verfügbar unter https://huggingface.co/datasets/Fudan-fMRI/fMRI-Objaverse. fMRT-Objaverse enthält Daten von 5 Probanden, von denen 4 auch Teil des Kernsets in fMRT-Form sind, wobei jeder Proband 3142 3D-Objekte über 117 Kategorien betrachtet, alle begleitet von Textunterschriften. Dies erhöht signifikant die Vielfalt und potenziellen Anwendungen des Datensets. Darüber hinaus schlagen wir MinD-3D vor, ein neuartiges Framework, das entwickelt wurde, um 3D-Visuelle Informationen aus fMRT-Signalen zu entschlüsseln. Das Framework extrahiert und aggregiert zunächst Merkmale aus fMRT-Daten mithilfe eines Neuro-Fusionsencoders, verwendet dann ein Merkmalsbrücken-Diffusionsmodell, um visuelle Merkmale zu generieren, und rekonstruiert schließlich das 3D-Objekt mithilfe eines generativen Transformer-Decoders. Wir etablieren neue Benchmarks, indem wir Metriken auf semantischer und struktureller Ebene entwerfen, um die Leistung des Modells zu bewerten. Darüber hinaus bewerten wir die Effektivität unseres Modells in einem Out-of-Distribution-Szenario und analysieren die Zuschreibung der extrahierten Merkmale und der visuellen ROIs in fMRT-Signalen. Unsere Experimente zeigen, dass MinD-3D nicht nur 3D-Objekte mit hoher semantischer und räumlicher Genauigkeit rekonstruiert, sondern auch unser Verständnis davon vertieft, wie das menschliche Gehirn 3D-visuelle Informationen verarbeitet. Projektseite unter: https://jianxgao.github.io/MinD-3D.

English

Reconstructing 3D visuals from functional Magnetic Resonance Imaging (fMRI) data, introduced as Recon3DMind in our conference work, is of significant interest to both cognitive neuroscience and computer vision. To advance this task, we present the fMRI-3D dataset, which includes data from 15 participants and showcases a total of 4768 3D objects. The dataset comprises two components: fMRI-Shape, previously introduced and accessible at https://huggingface.co/datasets/Fudan-fMRI/fMRI-Shape, and fMRI-Objaverse, proposed in this paper and available at https://huggingface.co/datasets/Fudan-fMRI/fMRI-Objaverse. fMRI-Objaverse includes data from 5 subjects, 4 of whom are also part of the Core set in fMRI-Shape, with each subject viewing 3142 3D objects across 117 categories, all accompanied by text captions. This significantly enhances the diversity and potential applications of the dataset. Additionally, we propose MinD-3D, a novel framework designed to decode 3D visual information from fMRI signals. The framework first extracts and aggregates features from fMRI data using a neuro-fusion encoder, then employs a feature-bridge diffusion model to generate visual features, and finally reconstructs the 3D object using a generative transformer decoder. We establish new benchmarks by designing metrics at both semantic and structural levels to evaluate model performance. Furthermore, we assess our model's effectiveness in an Out-of-Distribution setting and analyze the attribution of the extracted features and the visual ROIs in fMRI signals. Our experiments demonstrate that MinD-3D not only reconstructs 3D objects with high semantic and spatial accuracy but also deepens our understanding of how human brain processes 3D visual information. Project page at: https://jianxgao.github.io/MinD-3D.