fMRI-3D: un dataset esaustivo per migliorare la ricostruzione tridimensionale basata su fMRI

fMRI-3D: A Comprehensive Dataset for Enhancing fMRI-based 3D Reconstruction

September 17, 2024

Autori: Jianxiong Gao, Yuqian Fu, Yun Wang, Xuelin Qian, Jianfeng Feng, Yanwei Fu

cs.AI

Abstract

La ricostruzione di visualizzazioni 3D dai dati di Imaging a Risonanza Magnetica Funzionale (fMRI), introdotta come Recon3DMind nel nostro lavoro alla conferenza, è di notevole interesse sia per la neuroscienza cognitiva che per la visione artificiale. Per avanzare in questo compito, presentiamo il dataset fMRI-3D, che include dati di 15 partecipanti e mostra un totale di 4768 oggetti 3D. Il dataset è composto da due componenti: fMRI-Shape, precedentemente introdotto e accessibile su https://huggingface.co/datasets/Fudan-fMRI/fMRI-Shape, e fMRI-Objaverse, proposto in questo articolo e disponibile su https://huggingface.co/datasets/Fudan-fMRI/fMRI-Objaverse. fMRI-Objaverse include dati di 5 soggetti, di cui 4 fanno parte anche del set Core in fMRI-Shape, con ciascun soggetto che visualizza 3142 oggetti 3D distribuiti su 117 categorie, tutti accompagnati da didascalie. Ciò migliora significativamente la diversità e le potenziali applicazioni del dataset. Inoltre, proponiamo MinD-3D, un nuovo framework progettato per decodificare informazioni visive 3D dai segnali fMRI. Il framework estrae e aggrega inizialmente le caratteristiche dai dati fMRI utilizzando un codificatore neuro-fusion, quindi impiega un modello di diffusione del ponte delle caratteristiche per generare caratteristiche visive e infine ricostruisce l'oggetto 3D utilizzando un decodificatore trasformatore generativo. Stabiliamo nuovi benchmark progettando metriche a livello semantico e strutturale per valutare le prestazioni del modello. Inoltre, valutiamo l'efficacia del nostro modello in un contesto Out-of-Distribution e analizziamo l'attribuzione delle caratteristiche estratte e delle ROI visive nei segnali fMRI. I nostri esperimenti dimostrano che MinD-3D non solo ricostruisce oggetti 3D con elevata precisione semantica e spaziale, ma approfondisce anche la nostra comprensione di come il cervello umano elabora informazioni visive 3D. Pagina del progetto su: https://jianxgao.github.io/MinD-3D.

English

Reconstructing 3D visuals from functional Magnetic Resonance Imaging (fMRI) data, introduced as Recon3DMind in our conference work, is of significant interest to both cognitive neuroscience and computer vision. To advance this task, we present the fMRI-3D dataset, which includes data from 15 participants and showcases a total of 4768 3D objects. The dataset comprises two components: fMRI-Shape, previously introduced and accessible at https://huggingface.co/datasets/Fudan-fMRI/fMRI-Shape, and fMRI-Objaverse, proposed in this paper and available at https://huggingface.co/datasets/Fudan-fMRI/fMRI-Objaverse. fMRI-Objaverse includes data from 5 subjects, 4 of whom are also part of the Core set in fMRI-Shape, with each subject viewing 3142 3D objects across 117 categories, all accompanied by text captions. This significantly enhances the diversity and potential applications of the dataset. Additionally, we propose MinD-3D, a novel framework designed to decode 3D visual information from fMRI signals. The framework first extracts and aggregates features from fMRI data using a neuro-fusion encoder, then employs a feature-bridge diffusion model to generate visual features, and finally reconstructs the 3D object using a generative transformer decoder. We establish new benchmarks by designing metrics at both semantic and structural levels to evaluate model performance. Furthermore, we assess our model's effectiveness in an Out-of-Distribution setting and analyze the attribution of the extracted features and the visual ROIs in fMRI signals. Our experiments demonstrate that MinD-3D not only reconstructs 3D objects with high semantic and spatial accuracy but also deepens our understanding of how human brain processes 3D visual information. Project page at: https://jianxgao.github.io/MinD-3D.