SeeNav-Agent: Aprimorando a Navegação Visão-Linguagem com Prompt Visual e Otimização de Política em Nível de Etapa

SeeNav-Agent: Enhancing Vision-Language Navigation with Visual Prompt and Step-Level Policy Optimization

December 2, 2025

Autores: Zhengcheng Wang, Zichuan Lin, Yijun Yang, Haobo Fu, Deheng Ye

cs.AI

Resumo

Os agentes existentes de Navegação Visão-Linguagem (VLN) baseados em Grandes Modelos de Visão-Llinguagem (LVLMs) frequentemente sofrem com erros de perceção, erros de raciocínio e erros de planeamento, o que dificulta significativamente o seu desempenho de navegação. Para superar estas limitações, é proposto neste trabalho um novo quadro de agente VLN, denominado SeeNav-Agent. Em primeiro lugar, para reduzir as alucinações de perceção do módulo visual do agente VLN, é introduzida uma técnica de *Prompt* Visual (PV) de dupla perspetiva no espaço de entrada, que também pode melhorar a compreensão do agente sobre os estados espaciais atuais. Posteriormente, é concebido um novo método de Ajuste Fino por Reforço (RFT) ao nível do passo, designado por Política de Otimização de Grupo de Recompensa por Passo (SRGPO), para o pós-treinamento de agentes VLN. No SRGPO, definimos primeiro recompensas de processo verificáveis para a tarefa de navegação e, em seguida, realizamos uma estimativa eficiente da vantagem ao nível do passo, agrupando aleatoriamente diferentes etapas de navegação. O SRGPO fornece sinais de recompensa densos para o processo de aprendizagem por reforço do agente VLN e melhora a sua capacidade de planeamento. Os resultados experimentais no benchmark de Navegação EmbodiedBench indicam que, ao introduzir o módulo PV de *zero-shot*, o GPT-4.1 atinge uma taxa de sucesso de navegação de 86,7%, superando o melhor LVLM atual em aproximadamente 20 pontos percentuais (pp). Através do pós-treinamento baseado no SRGPO, o modelo Qwen2.5-VL-3B atinge uma taxa de sucesso de navegação de 72,3%, superando o melhor modelo LVLM existente em 5,6 pp. Além disso, em comparação com algoritmos RFT como o GRPO e o GiGPO, o SRGPO proposto demonstra melhorias significativas na estabilidade do treino, eficiência de convergência e capacidade de generalização.

English

Existing Vision-Language Navigation (VLN) agents based on Large Vision-Language Models (LVLMs) often suffer from perception errors, reasoning errors, and planning errors, which significantly hinder their navigation performance. To address these limitations, a novel VLN agent framework, named SeeNav-Agent, is proposed in this work. First, to reduce perception hallucinations of the visual module of the VLN agent, a dual-view Visual Prompt (VP) technique is introduced in the input space, which can also improve the agent's understanding of current spatial states. Subsequently, a novel step-level Reinforcement Fine-Tuning (RFT) method, Step Reward Group Policy Optimization (SRGPO), is designed for the post-training of VLN agents. In SRGPO, we first define verifiable process rewards for the navigation task, and then perform efficient step-level advantage estimation by randomly grouping different navigation steps. SRGPO provides dense reward signals for the reinforcement learning process of the VLN agent and enhances its planning capability. Experimental results on the EmbodiedBench Navigation benchmark indicate that by introducing the zero-shot VP module, the GPT-4.1 achieves a navigation success rate of 86.7%, surpassing the current best LVLM by approximately 20 percentage points (pp). Through post-training based on SRGPO, the Qwen2.5-VL-3B model reaches a navigation success rate of 72.3%, outperforming the best existing LVLM model by 5.6 pp. Moreover, compared to RFT algorithms such as GRPO and GiGPO, the proposed SRGPO demonstrates significant improvements in training stability, convergence efficiency, and generalization capability.