Optimisation des politiques par équilibre entropique agentique

papers.abstract

Récemment, l’apprentissage par renforcement agentique (Agentic RL) a réalisé des progrès significatifs dans l’incitation des capacités d’utilisation d’outils multi-tours et à long horizon des agents web. Bien que les algorithmes principaux de l’Agentic RL explorent de manière autonome les étapes d’appel d’outils à forte incertitude sous la guidance de l’entropie, une dépendance excessive aux signaux d’entropie peut imposer des contraintes supplémentaires, conduisant à un effondrement de l’entraînement. Dans cet article, nous examinons les défis causés par l’entropie et proposons l’Optimisation de Politique à Entropie Équilibrée Agentique (AEPO), un algorithme d’Agentic RL conçu pour équilibrer l’entropie à la fois dans les phases de déploiement et de mise à jour de la politique. AEPO comprend deux composants principaux : (1) un mécanisme de déploiement à entropie équilibrée dynamique qui alloue de manière adaptative le budget d’échantillonnage global et par branche grâce à une pré-surveillance de l’entropie, tout en imposant une pénalité de branche sur les étapes consécutives d’appel d’outils à haute entropie pour éviter les problèmes de sur-branchement ; et (2) l’Optimisation de Politique à Entropie Équilibrée qui insère une opération d’arrêt de gradient dans le terme de découpage à haute entropie pour préserver et redimensionner correctement les gradients sur les tokens à haute entropie, tout en intégrant une estimation d’avantage sensible à l’entropie pour prioriser l’apprentissage sur les tokens à forte incertitude. Les résultats sur 14 ensembles de données difficiles montrent que AEPO surpasse systématiquement 7 algorithmes de RL principaux. Avec seulement 1 000 échantillons de RL, Qwen3-14B avec AEPO obtient des résultats impressionnants : 47,6 % sur GAIA, 11,2 % sur Humanity's Last Exam et 43,0 % sur WebWalker pour Pass@1 ; 65,0 % sur GAIA, 26,0 % sur Humanity's Last Exam et 70,0 % sur WebWalker pour Pass@5. Une analyse approfondie révèle que AEPO améliore la diversité de l’échantillonnage de déploiement tout en maintenant une entropie de politique stable, facilitant ainsi l’entraînement scalable des agents web.

English

Recently, Agentic Reinforcement Learning (Agentic RL) has made significant progress in incentivizing the multi-turn, long-horizon tool-use capabilities of web agents. While mainstream agentic RL algorithms autonomously explore high-uncertainty tool-call steps under the guidance of entropy, excessive reliance on entropy signals can impose further constraints, leading to the training collapse. In this paper, we delve into the challenges caused by entropy and propose the Agentic Entropy-Balanced Policy Optimization (AEPO), an agentic RL algorithm designed to balance entropy in both the rollout and policy update phases. AEPO comprises two core components: (1) a dynamic entropy-balanced rollout mechanism that adaptively allocate global and branch sampling budget through entropy pre-monitoring, while imposing a branch penalty on consecutive high-entropy tool-call steps to prevent over-branching issues; and (2) Entropy-Balanced Policy Optimization that inserts a stop-gradient operation into the high-entropy clipping term to preserve and properly rescale gradients on high-entropy tokens, while incorporating entropy-aware advantage estimation to prioritize learning on high-uncertainty tokens. Results across 14 challenging datasets show that AEPO consistently outperforms 7 mainstream RL algorithms. With just 1K RL samples, Qwen3-14B with AEPO achieves impressive results: 47.6% on GAIA, 11.2% on Humanity's Last Exam, and 43.0% on WebWalker for Pass@1; 65.0% on GAIA, 26.0% on Humanity's Last Exam, and 70.0% on WebWalker for Pass@5. Further analysis reveals that AEPO improves rollout sampling diversity while maintaining stable policy entropy, facilitating scalable web agent training.