SeeNav-Agent: Verbetering van visie-taalnavigatie met visuele prompts en stap-voor-stap beleidsoptimalisatie

SeeNav-Agent: Enhancing Vision-Language Navigation with Visual Prompt and Step-Level Policy Optimization

December 2, 2025

Auteurs: Zhengcheng Wang, Zichuan Lin, Yijun Yang, Haobo Fu, Deheng Ye

cs.AI

Samenvatting

Bestaande Vision-Language Navigation (VLN) agenten, gebaseerd op Large Vision-Language Models (LVLMs), kampen vaak met perceptiefouten, redeneerfouten en planningsfouten, wat hun navigatieprestaties aanzienlijk belemmert. Om deze beperkingen aan te pakken, wordt in dit werk een nieuw VLN-agentraamwerk voorgesteld, genaamd SeeNav-Agent. Ten eerste wordt, om perceptiehallucinaties van de visuele module van de VLN-agent te verminderen, een dual-view Visual Prompt (VP)-techniek geïntroduceerd in de invoerruimte, wat ook het begrip van de agent van de huidige ruimtelijke toestand kan verbeteren. Vervolgens wordt een nieuwe stap-voor-stap Reinforcement Fine-Tuning (RFT)-methode, Step Reward Group Policy Optimization (SRGPO), ontworpen voor de na-training van VLN-agenten. In SRGPO definiëren we eerst verifieerbare procesbeloningen voor de navigatietaak en voeren we efficiënte stap-voor-stap voordelschatting uit door verschillende navigatiestappen willekeurig te groeperen. SRGPO biedt dichte beloningssignalen voor het reinforcement learning-proces van de VLN-agent en verbetert zo diens planningsvermogen. Experimentele resultaten op de EmbodiedBench Navigation-benchmark tonen aan dat door de introductie van de zero-shot VP-module, GPT-4.1 een navigatiesuccespercentage van 86,7% bereikt, wat ongeveer 20 procentpunten (pp) hoger ligt dan de huidige beste LVLM. Door na-training op basis van SRGPO bereikt het Qwen2.5-VL-3B-model een navigatiesuccespercentage van 72,3%, wat 5,6 pp beter is dan het beste bestaande LVLM-model. Bovendien laat de voorgestelde SRGPO, in vergelijking met RFT-algoritmen zoals GRPO en GiGPO, significante verbeteringen zien in trainingsstabiliteit, convergentie-efficiëntie en generalisatievermogen.

English

Existing Vision-Language Navigation (VLN) agents based on Large Vision-Language Models (LVLMs) often suffer from perception errors, reasoning errors, and planning errors, which significantly hinder their navigation performance. To address these limitations, a novel VLN agent framework, named SeeNav-Agent, is proposed in this work. First, to reduce perception hallucinations of the visual module of the VLN agent, a dual-view Visual Prompt (VP) technique is introduced in the input space, which can also improve the agent's understanding of current spatial states. Subsequently, a novel step-level Reinforcement Fine-Tuning (RFT) method, Step Reward Group Policy Optimization (SRGPO), is designed for the post-training of VLN agents. In SRGPO, we first define verifiable process rewards for the navigation task, and then perform efficient step-level advantage estimation by randomly grouping different navigation steps. SRGPO provides dense reward signals for the reinforcement learning process of the VLN agent and enhances its planning capability. Experimental results on the EmbodiedBench Navigation benchmark indicate that by introducing the zero-shot VP module, the GPT-4.1 achieves a navigation success rate of 86.7%, surpassing the current best LVLM by approximately 20 percentage points (pp). Through post-training based on SRGPO, the Qwen2.5-VL-3B model reaches a navigation success rate of 72.3%, outperforming the best existing LVLM model by 5.6 pp. Moreover, compared to RFT algorithms such as GRPO and GiGPO, the proposed SRGPO demonstrates significant improvements in training stability, convergence efficiency, and generalization capability.