Agentische Entropie-Gebalanceerde Beleidsoptimalisatie

Samenvatting

Recentelijk heeft Agentic Reinforcement Learning (Agentic RL) aanzienlijke vooruitgang geboekt in het stimuleren van de multi-turn, langetermijn tool-gebruikscapaciteiten van webagentschappen. Hoewel mainstream agentic RL-algoritmen autonoom hoog-onzekere tool-aanroepstappen verkennen onder begeleiding van entropie, kan een overmatige afhankelijkheid van entropiesignalen verdere beperkingen opleggen, wat leidt tot trainingsinstorting. In dit artikel gaan we in op de uitdagingen veroorzaakt door entropie en stellen we de Agentic Entropy-Balanced Policy Optimization (AEPO) voor, een agentic RL-algoritme dat ontworpen is om entropie in zowel de rollout- als beleidsupdatefasen in balans te brengen. AEPO bestaat uit twee kerncomponenten: (1) een dynamisch entropie-gebalanceerd rollout-mechanisme dat adaptief het globale en tak-samplingbudget toewijst via entropie-pre-monitoring, terwijl het een takstraf oplegt aan opeenvolgende hoog-entropie tool-aanroepstappen om overmatige vertakking te voorkomen; en (2) Entropy-Balanced Policy Optimization dat een stop-gradient-operatie in het hoog-entropie afkappingsterm invoegt om gradiënten op hoog-entropie tokens te behouden en correct te herschalen, terwijl het entropie-bewuste voordeelschatting incorporeert om leren op hoog-onzekere tokens te prioriteren. Resultaten over 14 uitdagende datasets tonen aan dat AEPO consistent beter presteert dan 7 mainstream RL-algoritmen. Met slechts 1K RL-steekproeven behaalt Qwen3-14B met AEPO indrukwekkende resultaten: 47,6% op GAIA, 11,2% op Humanity's Last Exam, en 43,0% op WebWalker voor Pass@1; 65,0% op GAIA, 26,0% op Humanity's Last Exam, en 70,0% op WebWalker voor Pass@5. Verdere analyse onthult dat AEPO de diversiteit van rollout-sampling verbetert terwijl het een stabiele beleidsentropie handhaaft, wat schaalbare training van webagentschappen vergemakkelijkt.

English

Recently, Agentic Reinforcement Learning (Agentic RL) has made significant progress in incentivizing the multi-turn, long-horizon tool-use capabilities of web agents. While mainstream agentic RL algorithms autonomously explore high-uncertainty tool-call steps under the guidance of entropy, excessive reliance on entropy signals can impose further constraints, leading to the training collapse. In this paper, we delve into the challenges caused by entropy and propose the Agentic Entropy-Balanced Policy Optimization (AEPO), an agentic RL algorithm designed to balance entropy in both the rollout and policy update phases. AEPO comprises two core components: (1) a dynamic entropy-balanced rollout mechanism that adaptively allocate global and branch sampling budget through entropy pre-monitoring, while imposing a branch penalty on consecutive high-entropy tool-call steps to prevent over-branching issues; and (2) Entropy-Balanced Policy Optimization that inserts a stop-gradient operation into the high-entropy clipping term to preserve and properly rescale gradients on high-entropy tokens, while incorporating entropy-aware advantage estimation to prioritize learning on high-uncertainty tokens. Results across 14 challenging datasets show that AEPO consistently outperforms 7 mainstream RL algorithms. With just 1K RL samples, Qwen3-14B with AEPO achieves impressive results: 47.6% on GAIA, 11.2% on Humanity's Last Exam, and 43.0% on WebWalker for Pass@1; 65.0% on GAIA, 26.0% on Humanity's Last Exam, and 70.0% on WebWalker for Pass@5. Further analysis reveals that AEPO improves rollout sampling diversity while maintaining stable policy entropy, facilitating scalable web agent training.