MG-Nav: 疎空間メモリによるデュアルスケール視覚ナビゲーション

MG-Nav: Dual-Scale Visual Navigation via Sparse Spatial Memory

November 27, 2025

著者: Bo Wang, Jiehong Lin, Chenzhi Liu, Xinting Hu, Yifei Yu, Tianjia Liu, Zhongrui Wang, Xiaojuan Qi

cs.AI

要旨

本論文では、ゼロショット視覚ナビゲーションのためのデュアルスケールフレームワーク「MG-Nav（Memory-Guided Navigation）」を提案する。本手法は、大域的なメモリ誘導計画と局所的な幾何学拡張制御を統合する。中核となるのは、領域中心のコンパクトなメモリ構造「Sparse Spatial Memory Graph（SMG）」である。各ノードはマルチビューキーフレームとオブジェクト意味情報を集約し、外観と空間構造を捕捉するとともに視点多様性を保持する。大域レベルでは、エージェントをSMG上に位置同定し、画像-インスタンスハイブリッド検索を通じて目標条件付きノード経路を計画。これにより、長期的な誘導のための到達可能な経由点系列を生成する。局所レベルでは、ナビゲーション基盤ポリシーがこれらの経由点をポイントゴールモードで実行（障害物考慮制御付き）。最終ノードから視覚目標へ向かう際はイメージゴールモードに切り替える。視点整合性と目標認識をさらに強化するため、事前学習済みVGGTモデル上に構築した軽量幾何学モジュール「VGGT-adapter」を導入。観測と目標特徴を3D認識共有空間で整合させる。MG-Navは大域計画と局所制御を異なる周波数で動作させ、定期的な再位置同定により誤差を補正する。HM3D Instance-Image-GoalおよびMP3D Image-Goalベンチマークでの実験により、MG-Navが state-of-the-art のゼロショット性能を達成し、動的環境変化や未経験場景条件下でも頑健性を維持することを実証した。

English

We present MG-Nav (Memory-Guided Navigation), a dual-scale framework for zero-shot visual navigation that unifies global memory-guided planning with local geometry-enhanced control. At its core is the Sparse Spatial Memory Graph (SMG), a compact, region-centric memory where each node aggregates multi-view keyframe and object semantics, capturing both appearance and spatial structure while preserving viewpoint diversity. At the global level, the agent is localized on SMG and a goal-conditioned node path is planned via an image-to-instance hybrid retrieval, producing a sequence of reachable waypoints for long-horizon guidance. At the local level, a navigation foundation policy executes these waypoints in point-goal mode with obstacle-aware control, and switches to image-goal mode when navigating from the final node towards the visual target. To further enhance viewpoint alignment and goal recognition, we introduce VGGT-adapter, a lightweight geometric module built on the pre-trained VGGT model, which aligns observation and goal features in a shared 3D-aware space. MG-Nav operates global planning and local control at different frequencies, using periodic re-localization to correct errors. Experiments on HM3D Instance-Image-Goal and MP3D Image-Goal benchmarks demonstrate that MG-Nav achieves state-of-the-art zero-shot performance and remains robust under dynamic rearrangements and unseen scene conditions.