M3 : Mémoire Multimodale Spatiale 3D

M3: 3D-Spatial MultiModal Memory

March 20, 2025

Auteurs: Xueyan Zou, Yuchen Song, Ri-Zhao Qiu, Xuanbin Peng, Jianglong Ye, Sifei Liu, Xiaolong Wang

cs.AI

Résumé

Nous présentons 3D Spatial MultiModal Memory (M3), un système de mémoire multimodale conçu pour retenir des informations sur des scènes statiques de taille moyenne à travers des sources vidéo pour la perception visuelle. En intégrant les techniques de 3D Gaussian Splatting avec des modèles de base, M3 construit une mémoire multimodale capable de restituer des représentations de caractéristiques à différentes granularités, englobant un large éventail de connaissances. Dans notre exploration, nous identifions deux défis majeurs dans les travaux précédents sur le splatting de caractéristiques : (1) les contraintes computationnelles liées au stockage de caractéristiques de haute dimension pour chaque primitive gaussienne, et (2) le désalignement ou la perte d'information entre les caractéristiques distillées et celles des modèles de base. Pour relever ces défis, nous proposons M3 avec des composants clés que sont les principaux éléments de scène et l'attention de mémoire gaussienne, permettant un entraînement et une inférence efficaces. Pour valider M3, nous menons des évaluations quantitatives complètes de la similarité des caractéristiques et des tâches en aval, ainsi que des visualisations qualitatives pour mettre en évidence la trace pixel de l'attention de mémoire gaussienne. Notre approche englobe une diversité de modèles de base, incluant des modèles vision-langage (VLMs), des modèles de perception, et des grands modèles multimodaux et de langage (LMMs/LLMs). De plus, pour démontrer l'applicabilité dans le monde réel, nous déployons le champ de caractéristiques de M3 dans des scènes intérieures sur un robot quadrupède. Il est à noter que nous affirmons que M3 est le premier travail à aborder les défis fondamentaux de compression dans la distillation de caractéristiques 3D.

English

We present 3D Spatial MultiModal Memory (M3), a multimodal memory system designed to retain information about medium-sized static scenes through video sources for visual perception. By integrating 3D Gaussian Splatting techniques with foundation models, M3 builds a multimodal memory capable of rendering feature representations across granularities, encompassing a wide range of knowledge. In our exploration, we identify two key challenges in previous works on feature splatting: (1) computational constraints in storing high-dimensional features for each Gaussian primitive, and (2) misalignment or information loss between distilled features and foundation model features. To address these challenges, we propose M3 with key components of principal scene components and Gaussian memory attention, enabling efficient training and inference. To validate M3, we conduct comprehensive quantitative evaluations of feature similarity and downstream tasks, as well as qualitative visualizations to highlight the pixel trace of Gaussian memory attention. Our approach encompasses a diverse range of foundation models, including vision-language models (VLMs), perception models, and large multimodal and language models (LMMs/LLMs). Furthermore, to demonstrate real-world applicability, we deploy M3's feature field in indoor scenes on a quadruped robot. Notably, we claim that M3 is the first work to address the core compression challenges in 3D feature distillation.