Оптимизация политики с балансировкой энтропии агента

Аннотация

В последнее время агентное обучение с подкреплением (Agentic RL) достигло значительного прогресса в стимулировании многошаговых и долгосрочных способностей веб-агентов к использованию инструментов. Хотя основные алгоритмы агентного RL автономно исследуют шаги вызова инструментов с высокой неопределенностью под руководством энтропии, чрезмерная зависимость от сигналов энтропии может накладывать дополнительные ограничения, приводя к коллапсу обучения. В данной статье мы углубляемся в проблемы, вызванные энтропией, и предлагаем агентный алгоритм RL — Оптимизацию политики с балансом энтропии (AEPO), разработанный для балансировки энтропии как на этапе развертывания, так и на этапе обновления политики. AEPO состоит из двух ключевых компонентов: (1) динамического механизма развертывания с балансом энтропии, который адаптивно распределяет глобальный и веточный бюджет выборки через предварительный мониторинг энтропии, одновременно накладывая веточный штраф на последовательные шаги вызова инструментов с высокой энтропией для предотвращения проблем избыточного ветвления; и (2) Оптимизации политики с балансом энтропии, которая вставляет операцию остановки градиента в термин обрезки с высокой энтропией для сохранения и правильного масштабирования градиентов на токенах с высокой энтропией, одновременно включая оценку преимуществ с учетом энтропии для приоритизации обучения на токенах с высокой неопределенностью. Результаты на 14 сложных наборах данных показывают, что AEPO стабильно превосходит 7 основных алгоритмов RL. Всего с 1K выборок RL, Qwen3-14B с AEPO демонстрирует впечатляющие результаты: 47,6% на GAIA, 11,2% на Humanity's Last Exam и 43,0% на WebWalker для Pass@1; 65,0% на GAIA, 26,0% на Humanity's Last Exam и 70,0% на WebWalker для Pass@5. Дополнительный анализ показывает, что AEPO улучшает разнообразие выборки развертывания, сохраняя стабильную энтропию политики, что способствует масштабируемому обучению веб-агентов.

English

Recently, Agentic Reinforcement Learning (Agentic RL) has made significant progress in incentivizing the multi-turn, long-horizon tool-use capabilities of web agents. While mainstream agentic RL algorithms autonomously explore high-uncertainty tool-call steps under the guidance of entropy, excessive reliance on entropy signals can impose further constraints, leading to the training collapse. In this paper, we delve into the challenges caused by entropy and propose the Agentic Entropy-Balanced Policy Optimization (AEPO), an agentic RL algorithm designed to balance entropy in both the rollout and policy update phases. AEPO comprises two core components: (1) a dynamic entropy-balanced rollout mechanism that adaptively allocate global and branch sampling budget through entropy pre-monitoring, while imposing a branch penalty on consecutive high-entropy tool-call steps to prevent over-branching issues; and (2) Entropy-Balanced Policy Optimization that inserts a stop-gradient operation into the high-entropy clipping term to preserve and properly rescale gradients on high-entropy tokens, while incorporating entropy-aware advantage estimation to prioritize learning on high-uncertainty tokens. Results across 14 challenging datasets show that AEPO consistently outperforms 7 mainstream RL algorithms. With just 1K RL samples, Qwen3-14B with AEPO achieves impressive results: 47.6% on GAIA, 11.2% on Humanity's Last Exam, and 43.0% on WebWalker for Pass@1; 65.0% on GAIA, 26.0% on Humanity's Last Exam, and 70.0% on WebWalker for Pass@5. Further analysis reveals that AEPO improves rollout sampling diversity while maintaining stable policy entropy, facilitating scalable web agent training.