SeeNav-Agent: Улучшение навигации на основе зрения и языка с помощью визуальных подсказок и пошаговой оптимизации политики

SeeNav-Agent: Enhancing Vision-Language Navigation with Visual Prompt and Step-Level Policy Optimization

December 2, 2025

Авторы: Zhengcheng Wang, Zichuan Lin, Yijun Yang, Haobo Fu, Deheng Ye

cs.AI

Аннотация

Существующие агенты навигации на основе зрения и языка (VLN), построенные на больших визуально-языковых моделях (LVLM), часто страдают от ошибок восприятия, ошибок рассуждений и ошибок планирования, что существенно снижает их навигационную эффективность. Для преодоления этих ограничений в данной работе предлагается новая фреймворк-архитектура VLN-агента под названием SeeNav-Agent. Во-первых, для снижения галлюцинаций восприятия в визуальном модуле VLN-агента в пространство входных данных вводится техника визуального промптинга с двумя представлениями (Dual-view Visual Prompt, VP), которая также улучшает понимание агентом текущего пространственного состояния. Затем для последующего дообучения VLN-агентов разработан новый пошаговый метод обучения с подкреплением (Step-level Reinforcement Fine-Tuning, RFT) — оптимизация политики на основе группировки пошаговых вознаграждений (Step Reward Group Policy Optimization, SRGPO). В SRGPO мы сначала определяем верифицируемые пошаговые вознаграждения для навигационной задачи, а затем выполняем эффективную оценку преимущества на уровне шага путем случайной группировки различных этапов навигации. SRGPO обеспечивает плотные reward-сигналы для процесса обучения с подкреплением VLN-агента и повышает его способность к планированию. Результаты экспериментов на бенчмарке EmbodiedBench Navigation показывают, что за счет введения zero-shot модуля VP модель GPT-4.1 достигает успешности навигации в 86.7%, превосходя лучшую на текущий момент LVLM примерно на 20 процентных пунктов (п.п.). Благодаря последующему дообучению на основе SRGPO модель Qwen2.5-VL-3B достигает успешности навигации в 72.3%, что на 5.6 п.п. выше, чем у лучшей существующей модели LVLM. Более того, по сравнению с такими алгоритмами RFT, как GRPO и GiGPO, предложенный метод SRGPO демонстрирует значительное улучшение стабильности обучения, эффективности сходимости и обобщающей способности.

English

Existing Vision-Language Navigation (VLN) agents based on Large Vision-Language Models (LVLMs) often suffer from perception errors, reasoning errors, and planning errors, which significantly hinder their navigation performance. To address these limitations, a novel VLN agent framework, named SeeNav-Agent, is proposed in this work. First, to reduce perception hallucinations of the visual module of the VLN agent, a dual-view Visual Prompt (VP) technique is introduced in the input space, which can also improve the agent's understanding of current spatial states. Subsequently, a novel step-level Reinforcement Fine-Tuning (RFT) method, Step Reward Group Policy Optimization (SRGPO), is designed for the post-training of VLN agents. In SRGPO, we first define verifiable process rewards for the navigation task, and then perform efficient step-level advantage estimation by randomly grouping different navigation steps. SRGPO provides dense reward signals for the reinforcement learning process of the VLN agent and enhances its planning capability. Experimental results on the EmbodiedBench Navigation benchmark indicate that by introducing the zero-shot VP module, the GPT-4.1 achieves a navigation success rate of 86.7%, surpassing the current best LVLM by approximately 20 percentage points (pp). Through post-training based on SRGPO, the Qwen2.5-VL-3B model reaches a navigation success rate of 72.3%, outperforming the best existing LVLM model by 5.6 pp. Moreover, compared to RFT algorithms such as GRPO and GiGPO, the proposed SRGPO demonstrates significant improvements in training stability, convergence efficiency, and generalization capability.