fMRI-3D: Een uitgebreide dataset ter verbetering van 3D-reconstructie op basis van fMRI

fMRI-3D: A Comprehensive Dataset for Enhancing fMRI-based 3D Reconstruction

September 17, 2024

Auteurs: Jianxiong Gao, Yuqian Fu, Yun Wang, Xuelin Qian, Jianfeng Feng, Yanwei Fu

cs.AI

Samenvatting

Het reconstrueren van 3D visuals uit functionele Magnetische Resonantie Beeldvorming (fMRI) data, geïntroduceerd als Recon3DMind in ons conferentiewerk, is van aanzienlijk belang voor zowel cognitieve neurowetenschappen als computer vision. Om deze taak verder te ontwikkelen, presenteren we de fMRI-3D dataset, die gegevens bevat van 15 deelnemers en in totaal 4768 3D objecten toont. De dataset bestaat uit twee componenten: fMRI-Shape, eerder geïntroduceerd en toegankelijk op https://huggingface.co/datasets/Fudan-fMRI/fMRI-Shape, en fMRI-Objaverse, voorgesteld in dit artikel en beschikbaar op https://huggingface.co/datasets/Fudan-fMRI/fMRI-Objaverse. fMRI-Objaverse bevat gegevens van 5 proefpersonen, waarvan er 4 ook deel uitmaken van de Kernset in fMRI-Shape, waarbij elke proefpersoon 3142 3D objecten bekijkt over 117 categorieën, allemaal vergezeld van tekstbijschriften. Dit verbetert aanzienlijk de diversiteit en potentiële toepassingen van de dataset. Bovendien stellen we MinD-3D voor, een nieuw raamwerk ontworpen om 3D visuele informatie te decoderen uit fMRI-signalen. Het raamwerk haalt eerst kenmerken uit fMRI-gegevens en aggregeert deze met behulp van een neuro-fusion encoder, gebruikt vervolgens een feature-bridge diffusiemodel om visuele kenmerken te genereren, en reconstrueert ten slotte het 3D object met behulp van een generatieve transformer decoder. We stellen nieuwe benchmarks vast door metrieken te ontwerpen op zowel semantisch als structureel niveau om de prestaties van het model te evalueren. Bovendien beoordelen we de effectiviteit van ons model in een Out-of-Distribution setting en analyseren we de toewijzing van de geëxtraheerde kenmerken en de visuele ROI's in fMRI-signalen. Onze experimenten tonen aan dat MinD-3D niet alleen 3D objecten reconstrueert met een hoge semantische en ruimtelijke nauwkeurigheid, maar ook ons begrip verdiept van hoe het menselijk brein 3D visuele informatie verwerkt. Projectpagina op: https://jianxgao.github.io/MinD-3D.

English

Reconstructing 3D visuals from functional Magnetic Resonance Imaging (fMRI) data, introduced as Recon3DMind in our conference work, is of significant interest to both cognitive neuroscience and computer vision. To advance this task, we present the fMRI-3D dataset, which includes data from 15 participants and showcases a total of 4768 3D objects. The dataset comprises two components: fMRI-Shape, previously introduced and accessible at https://huggingface.co/datasets/Fudan-fMRI/fMRI-Shape, and fMRI-Objaverse, proposed in this paper and available at https://huggingface.co/datasets/Fudan-fMRI/fMRI-Objaverse. fMRI-Objaverse includes data from 5 subjects, 4 of whom are also part of the Core set in fMRI-Shape, with each subject viewing 3142 3D objects across 117 categories, all accompanied by text captions. This significantly enhances the diversity and potential applications of the dataset. Additionally, we propose MinD-3D, a novel framework designed to decode 3D visual information from fMRI signals. The framework first extracts and aggregates features from fMRI data using a neuro-fusion encoder, then employs a feature-bridge diffusion model to generate visual features, and finally reconstructs the 3D object using a generative transformer decoder. We establish new benchmarks by designing metrics at both semantic and structural levels to evaluate model performance. Furthermore, we assess our model's effectiveness in an Out-of-Distribution setting and analyze the attribution of the extracted features and the visual ROIs in fMRI signals. Our experiments demonstrate that MinD-3D not only reconstructs 3D objects with high semantic and spatial accuracy but also deepens our understanding of how human brain processes 3D visual information. Project page at: https://jianxgao.github.io/MinD-3D.