SeeNav-Agent: Verbesserung der visuell-sprachlichen Navigation durch visuelle Prompts und schrittweise Politikoptimierung
SeeNav-Agent: Enhancing Vision-Language Navigation with Visual Prompt and Step-Level Policy Optimization
December 2, 2025
papers.authors: Zhengcheng Wang, Zichuan Lin, Yijun Yang, Haobo Fu, Deheng Ye
cs.AI
papers.abstract
Bestehende Vision-Language-Navigation-Agenten (VLN) auf Basis großer visuell-sprachlicher Modelle (LVLM) leiden häufig unter Wahrnehmungsfehlern, Denkfehlern und Planungsfehlern, was ihre Navigationsleistung erheblich beeinträchtigt. Um diese Einschränkungen zu adressieren, wird in dieser Arbeit ein neuartiges VLN-Agenten-Framework namens SeeNav-Agent vorgeschlagen. Erstens wird zur Reduzierung von Wahrnehmungshalluzinationen des visuellen Moduls des VLN-Agenten eine Dual-View-Visual-Prompt-Technik (VP) im Eingaberaum eingeführt, die auch das Verständnis des Agenten für aktuelle räumliche Zustände verbessert. Anschließend wird eine neuartige Reinforcement-Fine-Tuning-Methode (RFT) auf Schrittebene, Step Reward Group Policy Optimization (SRGPO), für das Nachtraining von VLN-Agenten entwickelt. In SRGPO definieren wir zunächst überprüfbare Prozessbelohnungen für die Navigationsaufgabe und führen dann eine effiziente Vorteilsschätzung auf Schrittebene durch, indem verschiedene Navigationsschritte zufällig gruppiert werden. SRGPO liefert dichte Belohnungssignale für den Verstärkungslernprozess des VLN-Agenten und verbessert dessen Planungsfähigkeit. Experimentelle Ergebnisse auf dem EmbodiedBench-Navigation-Benchmark zeigen, dass durch die Einführung des Zero-Shot-VP-Moduls GPT-4.1 eine Navigationserfolgsrate von 86,7 % erreicht und damit das derzeit beste LVLM um etwa 20 Prozentpunkte (pp) übertrifft. Durch Nachtraining auf Basis von SRGPO erreicht das Qwen2.5-VL-3B-Modell eine Navigationserfolgsrate von 72,3 % und übertrifft damit das beste existierende LVLM-Modell um 5,6 pp. Darüber hinaus zeigt das vorgeschlagene SRGPO im Vergleich zu RFT-Algorithmen wie GRPO und GiGPO signifikante Verbesserungen bei Trainingsstabilität, Konvergenzeffizienz und Generalisierungsfähigkeit.
English
Existing Vision-Language Navigation (VLN) agents based on Large Vision-Language Models (LVLMs) often suffer from perception errors, reasoning errors, and planning errors, which significantly hinder their navigation performance. To address these limitations, a novel VLN agent framework, named SeeNav-Agent, is proposed in this work. First, to reduce perception hallucinations of the visual module of the VLN agent, a dual-view Visual Prompt (VP) technique is introduced in the input space, which can also improve the agent's understanding of current spatial states. Subsequently, a novel step-level Reinforcement Fine-Tuning (RFT) method, Step Reward Group Policy Optimization (SRGPO), is designed for the post-training of VLN agents. In SRGPO, we first define verifiable process rewards for the navigation task, and then perform efficient step-level advantage estimation by randomly grouping different navigation steps. SRGPO provides dense reward signals for the reinforcement learning process of the VLN agent and enhances its planning capability. Experimental results on the EmbodiedBench Navigation benchmark indicate that by introducing the zero-shot VP module, the GPT-4.1 achieves a navigation success rate of 86.7%, surpassing the current best LVLM by approximately 20 percentage points (pp). Through post-training based on SRGPO, the Qwen2.5-VL-3B model reaches a navigation success rate of 72.3%, outperforming the best existing LVLM model by 5.6 pp. Moreover, compared to RFT algorithms such as GRPO and GiGPO, the proposed SRGPO demonstrates significant improvements in training stability, convergence efficiency, and generalization capability.