MG-Nav: Visuele Navigatie op Dubbele Schaallengte via Sparse Ruimtelijk Geheugen
MG-Nav: Dual-Scale Visual Navigation via Sparse Spatial Memory
November 27, 2025
Auteurs: Bo Wang, Jiehong Lin, Chenzhi Liu, Xinting Hu, Yifei Yu, Tianjia Liu, Zhongrui Wang, Xiaojuan Qi
cs.AI
Samenvatting
Wij presenteren MG-Nav (Memory-Guided Navigation), een dual-scale raamwerk voor zero-shot visuele navigatie dat wereldwijde, geheugengestuurde planning verenigt met lokale, geometrie-gestuurde controle. De kern wordt gevormd door de Sparse Spatial Memory Graph (SMG), een compact, regio-centrisch geheugen waarin elke node multi-view keyframe- en objectsemantiek aggregeert, zowel het uiterlijk als de ruimtelijke structuur vastlegt en viewpoint-diversiteit behoudt. Op globaal niveau wordt de agent gelokaliseerd op de SMG en wordt een doel-geconditioneerd nodepad gepland via een hybride image-to-instance retrieval, wat een reeks bereikbare waypoints produceert voor lange-termijn begeleiding. Op lokaal niveau voert een navigatiefoundation-beleid deze waypoints uit in point-goal modus met obstacle-aware controle, en schakelt het over naar image-goal modus bij de navigatie van de laatste node naar het visuele doel. Om de viewpoint-uitlijning en doelherkenning verder te verbeteren, introduceren we de VGGT-adapter, een lichtgewicht geometrische module gebouwd op het vooraf getrainde VGGT-model, die observatie- en doelkenmerken uitlijnt in een gedeelde 3D-aware ruimte. MG-Nav voert wereldwijde planning en lokale controle uit op verschillende frequenties, waarbij periodieke herlocalisatie wordt gebruikt om fouten te corrigeren. Experimenten op de HM3D Instance-Image-Goal en MP3D Image-Goal benchmarks tonen aan dat MG-Nav state-of-the-art zero-shot prestaties bereikt en robuust blijft onder dynamische herschikkingen en onbekende scène-omstandigheden.
English
We present MG-Nav (Memory-Guided Navigation), a dual-scale framework for zero-shot visual navigation that unifies global memory-guided planning with local geometry-enhanced control. At its core is the Sparse Spatial Memory Graph (SMG), a compact, region-centric memory where each node aggregates multi-view keyframe and object semantics, capturing both appearance and spatial structure while preserving viewpoint diversity. At the global level, the agent is localized on SMG and a goal-conditioned node path is planned via an image-to-instance hybrid retrieval, producing a sequence of reachable waypoints for long-horizon guidance. At the local level, a navigation foundation policy executes these waypoints in point-goal mode with obstacle-aware control, and switches to image-goal mode when navigating from the final node towards the visual target. To further enhance viewpoint alignment and goal recognition, we introduce VGGT-adapter, a lightweight geometric module built on the pre-trained VGGT model, which aligns observation and goal features in a shared 3D-aware space. MG-Nav operates global planning and local control at different frequencies, using periodic re-localization to correct errors. Experiments on HM3D Instance-Image-Goal and MP3D Image-Goal benchmarks demonstrate that MG-Nav achieves state-of-the-art zero-shot performance and remains robust under dynamic rearrangements and unseen scene conditions.