M3: Memória Multimodal 3D-Espacial

M3: 3D-Spatial MultiModal Memory

March 20, 2025

Autores: Xueyan Zou, Yuchen Song, Ri-Zhao Qiu, Xuanbin Peng, Jianglong Ye, Sifei Liu, Xiaolong Wang

cs.AI

Resumo

Apresentamos o 3D Spatial MultiModal Memory (M3), um sistema de memória multimodal projetado para reter informações sobre cenas estáticas de médio porte por meio de fontes de vídeo para percepção visual. Ao integrar técnicas de 3D Gaussian Splatting com modelos de base, o M3 constrói uma memória multimodal capaz de renderizar representações de características em diferentes granularidades, abrangendo uma ampla gama de conhecimentos. Em nossa exploração, identificamos dois desafios principais em trabalhos anteriores sobre splatting de características: (1) restrições computacionais no armazenamento de características de alta dimensionalidade para cada primitiva Gaussiana, e (2) desalinhamento ou perda de informação entre características destiladas e características de modelos de base. Para abordar esses desafios, propomos o M3 com componentes-chave de componentes principais da cena e atenção de memória Gaussiana, permitindo treinamento e inferência eficientes. Para validar o M3, realizamos avaliações quantitativas abrangentes de similaridade de características e tarefas subsequentes, além de visualizações qualitativas para destacar o rastreamento de pixels da atenção de memória Gaussiana. Nossa abordagem abrange uma variedade de modelos de base, incluindo modelos de visão e linguagem (VLMs), modelos de percepção e grandes modelos multimodais e de linguagem (LMMs/LLMs). Além disso, para demonstrar a aplicabilidade no mundo real, implantamos o campo de características do M3 em cenas internas em um robô quadrúpede. Notavelmente, afirmamos que o M3 é o primeiro trabalho a abordar os principais desafios de compressão na destilação de características 3D.

English

We present 3D Spatial MultiModal Memory (M3), a multimodal memory system designed to retain information about medium-sized static scenes through video sources for visual perception. By integrating 3D Gaussian Splatting techniques with foundation models, M3 builds a multimodal memory capable of rendering feature representations across granularities, encompassing a wide range of knowledge. In our exploration, we identify two key challenges in previous works on feature splatting: (1) computational constraints in storing high-dimensional features for each Gaussian primitive, and (2) misalignment or information loss between distilled features and foundation model features. To address these challenges, we propose M3 with key components of principal scene components and Gaussian memory attention, enabling efficient training and inference. To validate M3, we conduct comprehensive quantitative evaluations of feature similarity and downstream tasks, as well as qualitative visualizations to highlight the pixel trace of Gaussian memory attention. Our approach encompasses a diverse range of foundation models, including vision-language models (VLMs), perception models, and large multimodal and language models (LMMs/LLMs). Furthermore, to demonstrate real-world applicability, we deploy M3's feature field in indoor scenes on a quadruped robot. Notably, we claim that M3 is the first work to address the core compression challenges in 3D feature distillation.