M3: 3D-пространственная мультимодальная память

M3: 3D-Spatial MultiModal Memory

March 20, 2025

Авторы: Xueyan Zou, Yuchen Song, Ri-Zhao Qiu, Xuanbin Peng, Jianglong Ye, Sifei Liu, Xiaolong Wang

cs.AI

Аннотация

Мы представляем 3D Spatial MultiModal Memory (M3) — мультимодальную систему памяти, предназначенную для сохранения информации о средних по размеру статических сценах с использованием видеоисточников для визуального восприятия. Интегрируя методы 3D Gaussian Splatting с базовыми моделями, M3 создает мультимодальную память, способную воспроизводить представления признаков на различных уровнях детализации, охватывая широкий спектр знаний. В ходе исследования мы выявили две ключевые проблемы в предыдущих работах по сплаттингу признаков: (1) вычислительные ограничения при хранении высокоразмерных признаков для каждого гауссовского примитива и (2) несоответствие или потеря информации между дистиллированными признаками и признаками базовых моделей. Для решения этих проблем мы предлагаем M3 с ключевыми компонентами, такими как основные компоненты сцены и механизм внимания гауссовской памяти, что обеспечивает эффективное обучение и вывод. Для проверки M3 мы проводим всесторонние количественные оценки сходства признаков и задач последующего анализа, а также качественные визуализации, чтобы выделить трассировку пикселей в механизме внимания гауссовской памяти. Наш подход охватывает широкий спектр базовых моделей, включая модели визуально-языкового взаимодействия (VLMs), модели восприятия, а также крупные мультимодальные и языковые модели (LMMs/LLMs). Кроме того, чтобы продемонстрировать применимость в реальных условиях, мы развертываем поле признаков M3 в помещениях на четвероногом роботе. Примечательно, что мы утверждаем, что M3 является первой работой, которая решает ключевые задачи сжатия в дистилляции 3D-признаков.

English

We present 3D Spatial MultiModal Memory (M3), a multimodal memory system designed to retain information about medium-sized static scenes through video sources for visual perception. By integrating 3D Gaussian Splatting techniques with foundation models, M3 builds a multimodal memory capable of rendering feature representations across granularities, encompassing a wide range of knowledge. In our exploration, we identify two key challenges in previous works on feature splatting: (1) computational constraints in storing high-dimensional features for each Gaussian primitive, and (2) misalignment or information loss between distilled features and foundation model features. To address these challenges, we propose M3 with key components of principal scene components and Gaussian memory attention, enabling efficient training and inference. To validate M3, we conduct comprehensive quantitative evaluations of feature similarity and downstream tasks, as well as qualitative visualizations to highlight the pixel trace of Gaussian memory attention. Our approach encompasses a diverse range of foundation models, including vision-language models (VLMs), perception models, and large multimodal and language models (LMMs/LLMs). Furthermore, to demonstrate real-world applicability, we deploy M3's feature field in indoor scenes on a quadruped robot. Notably, we claim that M3 is the first work to address the core compression challenges in 3D feature distillation.