M3: 3D-Ruimtelijk Multimodaal Geheugen

M3: 3D-Spatial MultiModal Memory

March 20, 2025

Auteurs: Xueyan Zou, Yuchen Song, Ri-Zhao Qiu, Xuanbin Peng, Jianglong Ye, Sifei Liu, Xiaolong Wang

cs.AI

Samenvatting

We presenteren 3D Spatial MultiModal Memory (M3), een multimodaal geheugensysteem ontworpen om informatie over middelgrote statische scènes vast te houden via videobronnen voor visuele perceptie. Door 3D Gaussian Splatting-technieken te integreren met foundation models, bouwt M3 een multimodaal geheugen dat in staat is om feature-representaties te renderen over verschillende granulariteiten, waarbij een breed scala aan kennis wordt omvat. In ons onderzoek identificeren we twee belangrijke uitdagingen in eerdere werken over feature splatting: (1) computationele beperkingen bij het opslaan van hoogdimensionale features voor elk Gaussisch primitief, en (2) uitlijning of informatieverlies tussen gedistilleerde features en foundation model features. Om deze uitdagingen aan te pakken, stellen we M3 voor met sleutelcomponenten van belangrijkste scènecomponenten en Gaussisch geheugenattention, waardoor efficiënte training en inferentie mogelijk worden. Om M3 te valideren, voeren we uitgebreide kwantitatieve evaluaties uit van feature-similariteit en downstream taken, evenals kwalitatieve visualisaties om de pixel-trace van Gaussisch geheugenattention te benadrukken. Onze aanpak omvat een diverse reeks foundation models, waaronder vision-language models (VLMs), perceptiemodellen en grote multimodale en taalmodelen (LMMs/LLMs). Bovendien demonstreren we de toepasbaarheid in de praktijk door M3's feature-veld te implementeren in binnenruimtes op een viervoetige robot. Opmerkelijk is dat we stellen dat M3 het eerste werk is dat de kerncompressie-uitdagingen in 3D feature-distillatie aanpakt.

English

We present 3D Spatial MultiModal Memory (M3), a multimodal memory system designed to retain information about medium-sized static scenes through video sources for visual perception. By integrating 3D Gaussian Splatting techniques with foundation models, M3 builds a multimodal memory capable of rendering feature representations across granularities, encompassing a wide range of knowledge. In our exploration, we identify two key challenges in previous works on feature splatting: (1) computational constraints in storing high-dimensional features for each Gaussian primitive, and (2) misalignment or information loss between distilled features and foundation model features. To address these challenges, we propose M3 with key components of principal scene components and Gaussian memory attention, enabling efficient training and inference. To validate M3, we conduct comprehensive quantitative evaluations of feature similarity and downstream tasks, as well as qualitative visualizations to highlight the pixel trace of Gaussian memory attention. Our approach encompasses a diverse range of foundation models, including vision-language models (VLMs), perception models, and large multimodal and language models (LMMs/LLMs). Furthermore, to demonstrate real-world applicability, we deploy M3's feature field in indoor scenes on a quadruped robot. Notably, we claim that M3 is the first work to address the core compression challenges in 3D feature distillation.