SeeNav-Agent: Miglioramento della Navigazione Visione-Linguaggio mediante Prompt Visivi e Ottimizzazione della Politica a Livello di Step
SeeNav-Agent: Enhancing Vision-Language Navigation with Visual Prompt and Step-Level Policy Optimization
December 2, 2025
Autori: Zhengcheng Wang, Zichuan Lin, Yijun Yang, Haobo Fu, Deheng Ye
cs.AI
Abstract
Gli agenti di navigazione visione-linguaggio (VLN) esistenti basati su Large Vision-Language Models (LVLM) soffrono spesso di errori di percezione, errori di ragionamento ed errori di pianificazione, che ostacolano significativamente le loro prestazioni di navigazione. Per affrontare queste limitazioni, in questo lavoro viene proposto un nuovo framework per agenti VLN, denominato SeeNav-Agent. In primo luogo, per ridurre le allucinazioni percettive del modulo visivo dell'agente VLN, viene introdotta nello spazio di input una tecnica di Prompt Visivo (VP) a doppia visuale, che può anche migliorare la comprensione da parte dell'agente degli stati spaziali correnti. Successivamente, viene progettato un nuovo metodo di Reinforcement Fine-Tuning (RFT) a livello di passo, Step Reward Group Policy Optimization (SRGPO), per il post-addestramento degli agenti VLN. In SRGPO, definiamo prima ricompense di processo verificabili per il compito di navigazione, e poi eseguiamo una stima efficiente del vantaggio a livello di passo raggruppando casualmente i diversi step di navigazione. SRGPO fornisce segnali di ricompensa densi per il processo di apprendimento per rinforzo dell'agente VLN e ne potenzia la capacità di pianificazione. I risultati sperimentali sul benchmark EmbodiedBench Navigation indicano che, introducendo il modulo VP zero-shot, il GPT-4.1 raggiunge un tasso di successo della navigazione dell'86,7%, superando di circa 20 punti percentuali (pp) il miglior LVLM attuale. Attraverso il post-addestramento basato su SRGPO, il modello Qwen2.5-VL-3B raggiunge un tasso di successo della navigazione del 72,3%, superando di 5,6 pp il miglior modello LVLM esistente. Inoltre, rispetto ad algoritmi RFT come GRPO e GiGPO, il SRGPO proposto dimostra miglioramenti significativi nella stabilità dell'addestramento, nell'efficienza di convergenza e nella capacità di generalizzazione.
English
Existing Vision-Language Navigation (VLN) agents based on Large Vision-Language Models (LVLMs) often suffer from perception errors, reasoning errors, and planning errors, which significantly hinder their navigation performance. To address these limitations, a novel VLN agent framework, named SeeNav-Agent, is proposed in this work. First, to reduce perception hallucinations of the visual module of the VLN agent, a dual-view Visual Prompt (VP) technique is introduced in the input space, which can also improve the agent's understanding of current spatial states. Subsequently, a novel step-level Reinforcement Fine-Tuning (RFT) method, Step Reward Group Policy Optimization (SRGPO), is designed for the post-training of VLN agents. In SRGPO, we first define verifiable process rewards for the navigation task, and then perform efficient step-level advantage estimation by randomly grouping different navigation steps. SRGPO provides dense reward signals for the reinforcement learning process of the VLN agent and enhances its planning capability. Experimental results on the EmbodiedBench Navigation benchmark indicate that by introducing the zero-shot VP module, the GPT-4.1 achieves a navigation success rate of 86.7%, surpassing the current best LVLM by approximately 20 percentage points (pp). Through post-training based on SRGPO, the Qwen2.5-VL-3B model reaches a navigation success rate of 72.3%, outperforming the best existing LVLM model by 5.6 pp. Moreover, compared to RFT algorithms such as GRPO and GiGPO, the proposed SRGPO demonstrates significant improvements in training stability, convergence efficiency, and generalization capability.