M3: Memoria Multimodale 3D-Spaziale

Abstract

Presentiamo 3D Spatial MultiModal Memory (M3), un sistema di memoria multimodale progettato per conservare informazioni su scene statiche di medie dimensioni attraverso fonti video per la percezione visiva. Integrando tecniche di 3D Gaussian Splatting con modelli di base, M3 costruisce una memoria multimodale in grado di rappresentare caratteristiche a diversi livelli di granularità, abbracciando un'ampia gamma di conoscenze. Nella nostra esplorazione, identifichiamo due sfide principali nei lavori precedenti sullo splatting di caratteristiche: (1) i vincoli computazionali nell'archiviazione di caratteristiche ad alta dimensionalità per ogni primitiva gaussiana, e (2) il disallineamento o la perdita di informazioni tra le caratteristiche distillate e quelle dei modelli di base. Per affrontare queste sfide, proponiamo M3 con componenti chiave come i principali componenti della scena e l'attenzione della memoria gaussiana, consentendo un addestramento e un'inferenza efficienti. Per validare M3, conduciamo valutazioni quantitative complete sulla similarità delle caratteristiche e sui task downstream, oltre a visualizzazioni qualitative per evidenziare la traccia pixel dell'attenzione della memoria gaussiana. Il nostro approccio comprende una vasta gamma di modelli di base, inclusi modelli visione-linguaggio (VLMs), modelli di percezione e grandi modelli multimodali e linguistici (LMMs/LLMs). Inoltre, per dimostrare l'applicabilità nel mondo reale, implementiamo il campo di caratteristiche di M3 in scene indoor su un robot quadrupede. È importante sottolineare che affermiamo che M3 è il primo lavoro a risolvere le principali sfide di compressione nella distillazione di caratteristiche 3D.

English

We present 3D Spatial MultiModal Memory (M3), a multimodal memory system designed to retain information about medium-sized static scenes through video sources for visual perception. By integrating 3D Gaussian Splatting techniques with foundation models, M3 builds a multimodal memory capable of rendering feature representations across granularities, encompassing a wide range of knowledge. In our exploration, we identify two key challenges in previous works on feature splatting: (1) computational constraints in storing high-dimensional features for each Gaussian primitive, and (2) misalignment or information loss between distilled features and foundation model features. To address these challenges, we propose M3 with key components of principal scene components and Gaussian memory attention, enabling efficient training and inference. To validate M3, we conduct comprehensive quantitative evaluations of feature similarity and downstream tasks, as well as qualitative visualizations to highlight the pixel trace of Gaussian memory attention. Our approach encompasses a diverse range of foundation models, including vision-language models (VLMs), perception models, and large multimodal and language models (LMMs/LLMs). Furthermore, to demonstrate real-world applicability, we deploy M3's feature field in indoor scenes on a quadruped robot. Notably, we claim that M3 is the first work to address the core compression challenges in 3D feature distillation.

M3: Memoria Multimodale 3D-Spaziale

M3: 3D-Spatial MultiModal Memory

Abstract

Support