Optimización de Políticas de Equilibrio Entrópico Agéntico

Resumen

Recientemente, el Aprendizaje por Refuerzo Agéntico (Agentic RL) ha logrado avances significativos en la incentivación de las capacidades de uso de herramientas a largo plazo y de múltiples turnos en agentes web. Si bien los algoritmos principales de Agentic RL exploran de manera autónoma los pasos de llamadas a herramientas con alta incertidumbre bajo la guía de la entropía, la dependencia excesiva de las señales de entropía puede imponer restricciones adicionales, lo que lleva al colapso del entrenamiento. En este artículo, profundizamos en los desafíos causados por la entropía y proponemos la Optimización de Políticas con Equilibrio de Entropía Agéntico (AEPO), un algoritmo de Agentic RL diseñado para equilibrar la entropía tanto en la fase de despliegue como en la de actualización de políticas. AEPO consta de dos componentes principales: (1) un mecanismo de despliegue con equilibrio dinámico de entropía que asigna de manera adaptativa el presupuesto global y de muestreo por rama mediante la pre-monitorización de la entropía, mientras impone una penalización por rama en pasos consecutivos de llamadas a herramientas con alta entropía para evitar problemas de sobre-ramificación; y (2) la Optimización de Políticas con Equilibrio de Entropía, que inserta una operación de detención de gradiente en el término de recorte de alta entropía para preservar y reescalar adecuadamente los gradientes en tokens de alta entropía, mientras incorpora una estimación de ventaja consciente de la entropía para priorizar el aprendizaje en tokens de alta incertidumbre. Los resultados en 14 conjuntos de datos desafiantes muestran que AEPO supera consistentemente a 7 algoritmos principales de RL. Con solo 1K muestras de RL, Qwen3-14B con AEPO logra resultados impresionantes: 47.6% en GAIA, 11.2% en Humanity's Last Exam y 43.0% en WebWalker para Pass@1; 65.0% en GAIA, 26.0% en Humanity's Last Exam y 70.0% en WebWalker para Pass@5. Un análisis adicional revela que AEPO mejora la diversidad del muestreo de despliegue mientras mantiene una entropía de política estable, facilitando el entrenamiento escalable de agentes web.

English

Recently, Agentic Reinforcement Learning (Agentic RL) has made significant progress in incentivizing the multi-turn, long-horizon tool-use capabilities of web agents. While mainstream agentic RL algorithms autonomously explore high-uncertainty tool-call steps under the guidance of entropy, excessive reliance on entropy signals can impose further constraints, leading to the training collapse. In this paper, we delve into the challenges caused by entropy and propose the Agentic Entropy-Balanced Policy Optimization (AEPO), an agentic RL algorithm designed to balance entropy in both the rollout and policy update phases. AEPO comprises two core components: (1) a dynamic entropy-balanced rollout mechanism that adaptively allocate global and branch sampling budget through entropy pre-monitoring, while imposing a branch penalty on consecutive high-entropy tool-call steps to prevent over-branching issues; and (2) Entropy-Balanced Policy Optimization that inserts a stop-gradient operation into the high-entropy clipping term to preserve and properly rescale gradients on high-entropy tokens, while incorporating entropy-aware advantage estimation to prioritize learning on high-uncertainty tokens. Results across 14 challenging datasets show that AEPO consistently outperforms 7 mainstream RL algorithms. With just 1K RL samples, Qwen3-14B with AEPO achieves impressive results: 47.6% on GAIA, 11.2% on Humanity's Last Exam, and 43.0% on WebWalker for Pass@1; 65.0% on GAIA, 26.0% on Humanity's Last Exam, and 70.0% on WebWalker for Pass@5. Further analysis reveals that AEPO improves rollout sampling diversity while maintaining stable policy entropy, facilitating scalable web agent training.