SeeNav-Agent: 視覚的プロンプトとステップ単位のポリシー最適化による視覚言語ナビゲーションの強化

SeeNav-Agent: Enhancing Vision-Language Navigation with Visual Prompt and Step-Level Policy Optimization

December 2, 2025

著者: Zhengcheng Wang, Zichuan Lin, Yijun Yang, Haobo Fu, Deheng Ye

cs.AI

要旨

既存の大規模視覚言語モデル（LVLM）に基づく視覚言語ナビゲーション（VLN）エージェントは、知覚誤り、推論誤り、計画誤りに悩まされることが多く、ナビゲーション性能を大きく阻害している。これらの課題を解決するため、本論文では新たなVLNエージェントフレームワーク「SeeNav-Agent」を提案する。まず、VLNエージェントの視覚モジュールにおける知覚幻覚を低減するため、入力空間にデュアルビュー視覚プロンプト（VP）技術を導入し、エージェントの現在の空間状態の理解も向上させる。続いて、VLNエージェントのポストトレーニング向けに、新たなステップ単位強化学習ファインチューニング（RFT）手法「Step Reward Group Policy Optimization（SRGPO）」を設計する。SRGPOでは、ナビゲーション課題に対して検証可能なプロセス報酬を定義し、異なるナビゲーションステップを無作為にグループ化することで効率的なステップ単位のアドバンテージ推定を実行する。これにより、VLNエージェントの強化学習プロセスに高密度な報酬信号を提供し、計画能力を強化する。EmbodiedBench Navigationベンチマークにおける実験結果では、ゼロショットVPモジュールを導入することで、GPT-4.1が86.7%のナビゲーション成功率を達成し、現行最高のLVLMを約20パーセントポイント（pp）上回った。SRGPOに基づくポストトレーニングにより、Qwen2.5-VL-3Bモデルは72.3%のナビゲーション成功率に達し、既存最高のLVLMモデルを5.6pp上回った。さらに、GRPOやGiGPOなどのRFTアルゴリズムと比較して、提案するSRGPOは学習の安定性、収束効率、汎化能力において顕著な改善を示した。

English

Existing Vision-Language Navigation (VLN) agents based on Large Vision-Language Models (LVLMs) often suffer from perception errors, reasoning errors, and planning errors, which significantly hinder their navigation performance. To address these limitations, a novel VLN agent framework, named SeeNav-Agent, is proposed in this work. First, to reduce perception hallucinations of the visual module of the VLN agent, a dual-view Visual Prompt (VP) technique is introduced in the input space, which can also improve the agent's understanding of current spatial states. Subsequently, a novel step-level Reinforcement Fine-Tuning (RFT) method, Step Reward Group Policy Optimization (SRGPO), is designed for the post-training of VLN agents. In SRGPO, we first define verifiable process rewards for the navigation task, and then perform efficient step-level advantage estimation by randomly grouping different navigation steps. SRGPO provides dense reward signals for the reinforcement learning process of the VLN agent and enhances its planning capability. Experimental results on the EmbodiedBench Navigation benchmark indicate that by introducing the zero-shot VP module, the GPT-4.1 achieves a navigation success rate of 86.7%, surpassing the current best LVLM by approximately 20 percentage points (pp). Through post-training based on SRGPO, the Qwen2.5-VL-3B model reaches a navigation success rate of 72.3%, outperforming the best existing LVLM model by 5.6 pp. Moreover, compared to RFT algorithms such as GRPO and GiGPO, the proposed SRGPO demonstrates significant improvements in training stability, convergence efficiency, and generalization capability.