fMRI-3D: Un conjunto de datos completo para mejorar la reconstrucción 3D basada en fMRI

fMRI-3D: A Comprehensive Dataset for Enhancing fMRI-based 3D Reconstruction

September 17, 2024

Autores: Jianxiong Gao, Yuqian Fu, Yun Wang, Xuelin Qian, Jianfeng Feng, Yanwei Fu

cs.AI

Resumen

La reconstrucción de imágenes 3D a partir de datos de Resonancia Magnética Funcional (fMRI), presentada como Recon3DMind en nuestro trabajo de conferencia, es de gran interés tanto para la neurociencia cognitiva como para la visión por computadora. Para avanzar en esta tarea, presentamos el conjunto de datos fMRI-3D, que incluye datos de 15 participantes y muestra un total de 4768 objetos 3D. El conjunto de datos consta de dos componentes: fMRI-Forma, previamente presentado y accesible en https://huggingface.co/datasets/Fudan-fMRI/fMRI-Shape, y fMRI-Objaverse, propuesto en este documento y disponible en https://huggingface.co/datasets/Fudan-fMRI/fMRI-Objaverse. fMRI-Objaverse incluye datos de 5 sujetos, 4 de los cuales también forman parte del conjunto principal en fMRI-Forma, con cada sujeto visualizando 3142 objetos 3D en 117 categorías, todos acompañados de leyendas de texto. Esto mejora significativamente la diversidad y las aplicaciones potenciales del conjunto de datos. Además, proponemos MinD-3D, un nuevo marco diseñado para decodificar información visual 3D a partir de señales fMRI. El marco primero extrae y agrega características de los datos fMRI utilizando un codificador de neuro-fusión, luego emplea un modelo de difusión de puente de características para generar características visuales, y finalmente reconstruye el objeto 3D utilizando un decodificador transformador generativo. Establecemos nuevos puntos de referencia diseñando métricas en niveles semánticos y estructurales para evaluar el rendimiento del modelo. Además, evaluamos la efectividad de nuestro modelo en un entorno Fuera de Distribución y analizamos la atribución de las características extraídas y las ROI visuales en las señales fMRI. Nuestros experimentos demuestran que MinD-3D no solo reconstruye objetos 3D con alta precisión semántica y espacial, sino que también profundiza nuestra comprensión de cómo el cerebro humano procesa información visual 3D. Página del proyecto en: https://jianxgao.github.io/MinD-3D.

English

Reconstructing 3D visuals from functional Magnetic Resonance Imaging (fMRI) data, introduced as Recon3DMind in our conference work, is of significant interest to both cognitive neuroscience and computer vision. To advance this task, we present the fMRI-3D dataset, which includes data from 15 participants and showcases a total of 4768 3D objects. The dataset comprises two components: fMRI-Shape, previously introduced and accessible at https://huggingface.co/datasets/Fudan-fMRI/fMRI-Shape, and fMRI-Objaverse, proposed in this paper and available at https://huggingface.co/datasets/Fudan-fMRI/fMRI-Objaverse. fMRI-Objaverse includes data from 5 subjects, 4 of whom are also part of the Core set in fMRI-Shape, with each subject viewing 3142 3D objects across 117 categories, all accompanied by text captions. This significantly enhances the diversity and potential applications of the dataset. Additionally, we propose MinD-3D, a novel framework designed to decode 3D visual information from fMRI signals. The framework first extracts and aggregates features from fMRI data using a neuro-fusion encoder, then employs a feature-bridge diffusion model to generate visual features, and finally reconstructs the 3D object using a generative transformer decoder. We establish new benchmarks by designing metrics at both semantic and structural levels to evaluate model performance. Furthermore, we assess our model's effectiveness in an Out-of-Distribution setting and analyze the attribution of the extracted features and the visual ROIs in fMRI signals. Our experiments demonstrate that MinD-3D not only reconstructs 3D objects with high semantic and spatial accuracy but also deepens our understanding of how human brain processes 3D visual information. Project page at: https://jianxgao.github.io/MinD-3D.