SeeNav-Agent : Amélioration de la Navigation Vision-Langue par Invite Visuelle et Optimisation de Politique au Niveau de l'Étape
SeeNav-Agent: Enhancing Vision-Language Navigation with Visual Prompt and Step-Level Policy Optimization
December 2, 2025
papers.authors: Zhengcheng Wang, Zichuan Lin, Yijun Yang, Haobo Fu, Deheng Ye
cs.AI
papers.abstract
Les agents de navigation vision-langage (VLN) existants, basés sur les grands modèles vision-langage (LVLM), souffrent souvent d'erreurs de perception, de raisonnement et de planification, ce qui entrave significativement leurs performances de navigation. Pour remédier à ces limitations, un nouveau cadre d'agent VLN, nommé SeeNav-Agent, est proposé dans ce travail. Premièrement, afin de réduire les hallucinations perceptuelles du module visuel de l'agent VLN, une technique de Prompt Visuel (PV) double-vue est introduite dans l'espace d'entrée, ce qui peut également améliorer la compréhension par l'agent de son état spatial actuel. Par la suite, une nouvelle méthode de Reinforcement Fine-Tuning (RFT) au niveau de l'étape, Step Reward Group Policy Optimization (SRGPO), est conçue pour l'entraînement complémentaire des agents VLN. Dans SRGPO, nous définissons d'abord des récompenses de processus vérifiables pour la tâche de navigation, puis effectuons une estimation efficace de l'avantage au niveau de l'étape en regroupant aléatoirement différentes étapes de navigation. SRGPO fournit des signaux de récompense denses pour le processus d'apprentissage par renforcement de l'agent VLN et améliore sa capacité de planification. Les résultats expérimentaux sur le benchmark EmbodiedBench Navigation indiquent qu'en introduisant le module PV zero-shot, le GPT-4.1 atteint un taux de réussite de navigation de 86,7 %, surpassant le meilleur LVLM actuel d'environ 20 points de pourcentage (pp). Grâce à l'entraînement complémentaire basé sur SRGPO, le modèle Qwen2.5-VL-3B atteint un taux de réussite de navigation de 72,3 %, surpassant le meilleur modèle LVLM existant de 5,6 pp. De plus, comparé aux algorithmes RFT tels que GRPO et GiGPO, le SRGPO proposé démontre des améliorations significatives en termes de stabilité de l'entraînement, d'efficacité de convergence et de capacité de généralisation.
English
Existing Vision-Language Navigation (VLN) agents based on Large Vision-Language Models (LVLMs) often suffer from perception errors, reasoning errors, and planning errors, which significantly hinder their navigation performance. To address these limitations, a novel VLN agent framework, named SeeNav-Agent, is proposed in this work. First, to reduce perception hallucinations of the visual module of the VLN agent, a dual-view Visual Prompt (VP) technique is introduced in the input space, which can also improve the agent's understanding of current spatial states. Subsequently, a novel step-level Reinforcement Fine-Tuning (RFT) method, Step Reward Group Policy Optimization (SRGPO), is designed for the post-training of VLN agents. In SRGPO, we first define verifiable process rewards for the navigation task, and then perform efficient step-level advantage estimation by randomly grouping different navigation steps. SRGPO provides dense reward signals for the reinforcement learning process of the VLN agent and enhances its planning capability. Experimental results on the EmbodiedBench Navigation benchmark indicate that by introducing the zero-shot VP module, the GPT-4.1 achieves a navigation success rate of 86.7%, surpassing the current best LVLM by approximately 20 percentage points (pp). Through post-training based on SRGPO, the Qwen2.5-VL-3B model reaches a navigation success rate of 72.3%, outperforming the best existing LVLM model by 5.6 pp. Moreover, compared to RFT algorithms such as GRPO and GiGPO, the proposed SRGPO demonstrates significant improvements in training stability, convergence efficiency, and generalization capability.