fMRI-3D: Um Conjunto de Dados Abrangente para Aprimorar a Reconstrução 3D Baseada em fMRI

fMRI-3D: A Comprehensive Dataset for Enhancing fMRI-based 3D Reconstruction

September 17, 2024

Autores: Jianxiong Gao, Yuqian Fu, Yun Wang, Xuelin Qian, Jianfeng Feng, Yanwei Fu

cs.AI

Resumo

A reconstrução de visuais 3D a partir de dados de Ressonância Magnética Funcional (fMRI), introduzida como Recon3DMind em nosso trabalho de conferência, é de grande interesse tanto para a neurociência cognitiva quanto para a visão computacional. Para avançar nessa tarefa, apresentamos o conjunto de dados fMRI-3D, que inclui dados de 15 participantes e exibe um total de 4768 objetos 3D. O conjunto de dados é composto por dois componentes: fMRI-Forma, previamente introduzido e acessível em https://huggingface.co/datasets/Fudan-fMRI/fMRI-Shape, e fMRI-Objaverse, proposto neste artigo e disponível em https://huggingface.co/datasets/Fudan-fMRI/fMRI-Objaverse. fMRI-Objaverse inclui dados de 5 sujeitos, 4 dos quais também fazem parte do conjunto principal em fMRI-Forma, sendo que cada sujeito visualiza 3142 objetos 3D em 117 categorias, todos acompanhados por legendas de texto. Isso aumenta significativamente a diversidade e as aplicações potenciais do conjunto de dados. Além disso, propomos MinD-3D, um novo framework projetado para decodificar informações visuais 3D a partir de sinais de fMRI. O framework primeiro extrai e agrega características dos dados de fMRI usando um codificador de neuro-fusão, em seguida, emprega um modelo de difusão de ponte de características para gerar características visuais e, por fim, reconstrói o objeto 3D usando um decodificador transformador generativo. Estabelecemos novos benchmarks ao projetar métricas em níveis semântico e estrutural para avaliar o desempenho do modelo. Além disso, avaliamos a eficácia do nosso modelo em um cenário Fora da Distribuição e analisamos a atribuição das características extraídas e das ROIs visuais nos sinais de fMRI. Nossos experimentos demonstram que o MinD-3D não apenas reconstrói objetos 3D com alta precisão semântica e espacial, mas também aprofunda nossa compreensão de como o cérebro humano processa informações visuais 3D. Página do projeto em: https://jianxgao.github.io/MinD-3D.

English

Reconstructing 3D visuals from functional Magnetic Resonance Imaging (fMRI) data, introduced as Recon3DMind in our conference work, is of significant interest to both cognitive neuroscience and computer vision. To advance this task, we present the fMRI-3D dataset, which includes data from 15 participants and showcases a total of 4768 3D objects. The dataset comprises two components: fMRI-Shape, previously introduced and accessible at https://huggingface.co/datasets/Fudan-fMRI/fMRI-Shape, and fMRI-Objaverse, proposed in this paper and available at https://huggingface.co/datasets/Fudan-fMRI/fMRI-Objaverse. fMRI-Objaverse includes data from 5 subjects, 4 of whom are also part of the Core set in fMRI-Shape, with each subject viewing 3142 3D objects across 117 categories, all accompanied by text captions. This significantly enhances the diversity and potential applications of the dataset. Additionally, we propose MinD-3D, a novel framework designed to decode 3D visual information from fMRI signals. The framework first extracts and aggregates features from fMRI data using a neuro-fusion encoder, then employs a feature-bridge diffusion model to generate visual features, and finally reconstructs the 3D object using a generative transformer decoder. We establish new benchmarks by designing metrics at both semantic and structural levels to evaluate model performance. Furthermore, we assess our model's effectiveness in an Out-of-Distribution setting and analyze the attribution of the extracted features and the visual ROIs in fMRI signals. Our experiments demonstrate that MinD-3D not only reconstructs 3D objects with high semantic and spatial accuracy but also deepens our understanding of how human brain processes 3D visual information. Project page at: https://jianxgao.github.io/MinD-3D.