fMRI-3D: Комплексный набор данных для улучшения трехмерной реконструкции на основе fMRI.

fMRI-3D: A Comprehensive Dataset for Enhancing fMRI-based 3D Reconstruction

September 17, 2024

Авторы: Jianxiong Gao, Yuqian Fu, Yun Wang, Xuelin Qian, Jianfeng Feng, Yanwei Fu

cs.AI

Аннотация

Восстановление трехмерной визуализации из данных функциональной магнитно-резонансной томографии (fMRI), представленное как Recon3DMind в нашей конференционной работе, представляет значительный интерес как для когнитивной нейронауки, так и для компьютерного зрения. Для продвижения этой задачи мы представляем набор данных fMRI-3D, который включает данные от 15 участников и демонстрирует общее количество 4768 трехмерных объектов. Набор данных состоит из двух компонентов: fMRI-Shape, ранее представленного и доступного на https://huggingface.co/datasets/Fudan-fMRI/fMRI-Shape, и fMRI-Objaverse, предложенного в данной статье и доступного на https://huggingface.co/datasets/Fudan-fMRI/fMRI-Objaverse. fMRI-Objaverse включает данные от 5 испытуемых, 4 из которых также являются частью основного набора данных в fMRI-Shape, причем каждый испытуемый просматривает 3142 трехмерных объекта по 117 категориям, все снабжены текстовыми подписями. Это значительно расширяет разнообразие и потенциальные применения набора данных. Кроме того, мы предлагаем MinD-3D, новую структуру, разработанную для декодирования трехмерной визуальной информации из сигналов fMRI. Структура сначала извлекает и агрегирует признаки из данных fMRI с использованием нейро-слияния кодировщика, затем использует модель диффузии признаков для генерации визуальных признаков и, наконец, восстанавливает трехмерный объект с помощью генеративного декодера-трансформера. Мы устанавливаем новые стандарты, разработав метрики на семантическом и структурном уровнях для оценки производительности модели. Кроме того, мы оцениваем эффективность нашей модели в условиях "вне распределения" и анализируем атрибуцию извлеченных признаков и визуальных областей интереса (ROIs) в сигналах fMRI. Наши эксперименты демонстрируют, что MinD-3D не только восстанавливает трехмерные объекты с высокой семантической и пространственной точностью, но и углубляет наше понимание того, как человеческий мозг обрабатывает трехмерную визуальную информацию. Страница проекта: https://jianxgao.github.io/MinD-3D.

English

Reconstructing 3D visuals from functional Magnetic Resonance Imaging (fMRI) data, introduced as Recon3DMind in our conference work, is of significant interest to both cognitive neuroscience and computer vision. To advance this task, we present the fMRI-3D dataset, which includes data from 15 participants and showcases a total of 4768 3D objects. The dataset comprises two components: fMRI-Shape, previously introduced and accessible at https://huggingface.co/datasets/Fudan-fMRI/fMRI-Shape, and fMRI-Objaverse, proposed in this paper and available at https://huggingface.co/datasets/Fudan-fMRI/fMRI-Objaverse. fMRI-Objaverse includes data from 5 subjects, 4 of whom are also part of the Core set in fMRI-Shape, with each subject viewing 3142 3D objects across 117 categories, all accompanied by text captions. This significantly enhances the diversity and potential applications of the dataset. Additionally, we propose MinD-3D, a novel framework designed to decode 3D visual information from fMRI signals. The framework first extracts and aggregates features from fMRI data using a neuro-fusion encoder, then employs a feature-bridge diffusion model to generate visual features, and finally reconstructs the 3D object using a generative transformer decoder. We establish new benchmarks by designing metrics at both semantic and structural levels to evaluate model performance. Furthermore, we assess our model's effectiveness in an Out-of-Distribution setting and analyze the attribution of the extracted features and the visual ROIs in fMRI signals. Our experiments demonstrate that MinD-3D not only reconstructs 3D objects with high semantic and spatial accuracy but also deepens our understanding of how human brain processes 3D visual information. Project page at: https://jianxgao.github.io/MinD-3D.