MG-Nav: Визуальная навигация с двойным масштабированием на основе разреженной пространственной памяти

MG-Nav: Dual-Scale Visual Navigation via Sparse Spatial Memory

November 27, 2025

Авторы: Bo Wang, Jiehong Lin, Chenzhi Liu, Xinting Hu, Yifei Yu, Tianjia Liu, Zhongrui Wang, Xiaojuan Qi

cs.AI

Аннотация

Мы представляем MG-Nav (Memory-Guided Navigation, навигация с управлением от памяти) — двухуровневую структуру для навигации с нулевым обучением, которая объединяет глобальное планирование на основе памяти с локальным управлением, усиленным геометрией. Её основой является Разреженный Граф Пространственной Памяти (SMG) — компактная, ориентированная на регионы память, где каждый узел агрегирует семантику многовидовых ключевых кадров и объектов, захватывая как внешний вид, так и пространственную структуру, сохраняя при этом разнообразие точек обзора. На глобальном уровне агент локализуется на SMG, и планируется узловой путь, обусловленный целью, с помощью гибридного поиска по изображению и экземпляру, что создает последовательность достижимых путевых точек для долгосрочного руководства. На локальном уровне базовая политика навигации выполняет эти путевые точки в режиме точечной цели с управлением, учитывающим препятствия, и переключается в режим целевого изображения при навигации от конечного узла к визуальной цели. Для дальнейшего улучшения выравнивания точек обзора и распознавания цели мы вводим VGGT-адаптер — легковесный геометрический модуль, построенный на предварительно обученной модели VGGT, который выравнивает признаки наблюдения и цели в общем 3D-ориентированном пространстве. MG-Nav выполняет глобальное планирование и локальное управление на разных частотах, используя периодическую повторную локализацию для коррекции ошибок. Эксперименты на бенчмарках HM3D Instance-Image-Goal и MP3D Image-Goal демонстрируют, что MG-Nav достигает передовой производительности при нулевом обучении и сохраняет устойчивость при динамических перестановках и в условиях незнакомых сцен.

English

We present MG-Nav (Memory-Guided Navigation), a dual-scale framework for zero-shot visual navigation that unifies global memory-guided planning with local geometry-enhanced control. At its core is the Sparse Spatial Memory Graph (SMG), a compact, region-centric memory where each node aggregates multi-view keyframe and object semantics, capturing both appearance and spatial structure while preserving viewpoint diversity. At the global level, the agent is localized on SMG and a goal-conditioned node path is planned via an image-to-instance hybrid retrieval, producing a sequence of reachable waypoints for long-horizon guidance. At the local level, a navigation foundation policy executes these waypoints in point-goal mode with obstacle-aware control, and switches to image-goal mode when navigating from the final node towards the visual target. To further enhance viewpoint alignment and goal recognition, we introduce VGGT-adapter, a lightweight geometric module built on the pre-trained VGGT model, which aligns observation and goal features in a shared 3D-aware space. MG-Nav operates global planning and local control at different frequencies, using periodic re-localization to correct errors. Experiments on HM3D Instance-Image-Goal and MP3D Image-Goal benchmarks demonstrate that MG-Nav achieves state-of-the-art zero-shot performance and remains robust under dynamic rearrangements and unseen scene conditions.