MG-Nav: Navigazione Visiva a Doppia Scala tramite Memoria Spaziale Sparsa
MG-Nav: Dual-Scale Visual Navigation via Sparse Spatial Memory
November 27, 2025
Autori: Bo Wang, Jiehong Lin, Chenzhi Liu, Xinting Hu, Yifei Yu, Tianjia Liu, Zhongrui Wang, Xiaojuan Qi
cs.AI
Abstract
Presentiamo MG-Nav (Memory-Guided Navigation), un framework a doppia scala per la navigazione visiva zero-shot che unisce una pianificazione globale guidata dalla memoria con un controllo locale potenziato dalla geometria. Il suo nucleo è il Sparse Spatial Memory Graph (SMG), una memoria compatta e centrata sulle regioni in cui ogni nodo aggrega semantiche di keyframe multi-vista e di oggetti, catturando sia l'aspetto visivo che la struttura spaziale preservando la diversità dei punti di vista. A livello globale, l'agente viene localizzato sull'SMG e un percorso di nodi condizionato all'obiettivo viene pianificato tramite un retrieval ibrido immagine-istanza, producendo una sequenza di waypoint raggiungibili per una guida a lungo termine. A livello locale, una policy di navigazione foundation esegue questi waypoint in modalità punto-obiettivo con controllo consapevole degli ostacoli, e passa alla modalità immagine-obiettivo quando naviga dal nodo finale verso il target visivo. Per migliorare ulteriormente l'allineamento del punto di vista e il riconoscimento dell'obiettivo, introduciamo VGGT-adapter, un modulo geometrico leggero costruito sul modello VGGT pre-addestrato, che allinea le caratteristiche dell'osservazione e dell'obiettivo in uno spazio condiviso e consapevole della 3D. MG-Nav opera la pianificazione globale e il controllo locale a frequenze diverse, utilizzando una ri-localizzazione periodica per correggere gli errori. Esperimenti sui benchmark HM3D Instance-Image-Goal e MP3D Image-Goal dimostrano che MG-Nav raggiunge prestazioni zero-shot allo stato dell'arte e rimane robusto in condizioni di riarrangiamenti dinamici e scene non viste.
English
We present MG-Nav (Memory-Guided Navigation), a dual-scale framework for zero-shot visual navigation that unifies global memory-guided planning with local geometry-enhanced control. At its core is the Sparse Spatial Memory Graph (SMG), a compact, region-centric memory where each node aggregates multi-view keyframe and object semantics, capturing both appearance and spatial structure while preserving viewpoint diversity. At the global level, the agent is localized on SMG and a goal-conditioned node path is planned via an image-to-instance hybrid retrieval, producing a sequence of reachable waypoints for long-horizon guidance. At the local level, a navigation foundation policy executes these waypoints in point-goal mode with obstacle-aware control, and switches to image-goal mode when navigating from the final node towards the visual target. To further enhance viewpoint alignment and goal recognition, we introduce VGGT-adapter, a lightweight geometric module built on the pre-trained VGGT model, which aligns observation and goal features in a shared 3D-aware space. MG-Nav operates global planning and local control at different frequencies, using periodic re-localization to correct errors. Experiments on HM3D Instance-Image-Goal and MP3D Image-Goal benchmarks demonstrate that MG-Nav achieves state-of-the-art zero-shot performance and remains robust under dynamic rearrangements and unseen scene conditions.