MG-Nav: Navegação Visual em Dupla Escala via Memória Espacial Esparsa

MG-Nav: Dual-Scale Visual Navigation via Sparse Spatial Memory

November 27, 2025

Autores: Bo Wang, Jiehong Lin, Chenzhi Liu, Xinting Hu, Yifei Yu, Tianjia Liu, Zhongrui Wang, Xiaojuan Qi

cs.AI

Resumo

Apresentamos o MG-Nav (Navegação Guiada por Memória), uma estrutura de dupla escala para navegação visual *zero-shot* que unifica o planeamento global guiado por memória com o controlo local aprimorado por geometria. O seu núcleo é o Grafo de Memória Espacial Esparsa (SMG), uma memória compacta e centrada em regiões onde cada nó agrega semântica de *keyframes* multi-visão e de objetos, capturando tanto a aparência quanto a estrutura espacial, preservando a diversidade de pontos de vista. No nível global, o agente é localizado no SMG e um caminho de nós condicionado ao objetivo é planeado através de uma recuperação híbrida de imagem para instância, produzindo uma sequência de *waypoints* alcançáveis para orientação de longo horizonte. No nível local, uma política de base de navegação executa esses *waypoints* no modo de objetivo pontual com controlo consciente de obstáculos, e muda para o modo de objetivo visual (*image-goal*) ao navegar do nó final para o alvo visual. Para melhorar ainda mais o alinhamento de ponto de vista e o reconhecimento do objetivo, introduzimos o VGGT-adapter, um módulo geométrico leve construído sobre o modelo VGGT pré-treinado, que alinha as características da observação e do objetivo num espaço compartilhado e consciente da 3D. O MG-Nav opera o planeamento global e o controlo local em frequências diferentes, utilizando relocalização periódica para corrigir erros. Experiências nos benchmarks HM3D Instance-Image-Goal e MP3D Image-Goal demonstram que o MG-Nav atinge um desempenho *zero-shot* de última geração e mantém-se robusto sob rearranjos dinâmicos e condições de cena não vistas.

English

We present MG-Nav (Memory-Guided Navigation), a dual-scale framework for zero-shot visual navigation that unifies global memory-guided planning with local geometry-enhanced control. At its core is the Sparse Spatial Memory Graph (SMG), a compact, region-centric memory where each node aggregates multi-view keyframe and object semantics, capturing both appearance and spatial structure while preserving viewpoint diversity. At the global level, the agent is localized on SMG and a goal-conditioned node path is planned via an image-to-instance hybrid retrieval, producing a sequence of reachable waypoints for long-horizon guidance. At the local level, a navigation foundation policy executes these waypoints in point-goal mode with obstacle-aware control, and switches to image-goal mode when navigating from the final node towards the visual target. To further enhance viewpoint alignment and goal recognition, we introduce VGGT-adapter, a lightweight geometric module built on the pre-trained VGGT model, which aligns observation and goal features in a shared 3D-aware space. MG-Nav operates global planning and local control at different frequencies, using periodic re-localization to correct errors. Experiments on HM3D Instance-Image-Goal and MP3D Image-Goal benchmarks demonstrate that MG-Nav achieves state-of-the-art zero-shot performance and remains robust under dynamic rearrangements and unseen scene conditions.