エージェンシック・エントロピー均衡化ポリシー最適化

要旨

近年、エージェント型強化学習（Agentic RL）は、ウェブエージェントの多段階かつ長期的なツール使用能力を促進する上で大きな進展を遂げてきた。主流のエージェント型RLアルゴリズムは、エントロピーの指導の下で不確実性の高いツール呼び出しステップを自律的に探索するが、エントロピー信号への過度の依存はさらなる制約を課し、トレーニングの崩壊を招く可能性がある。本論文では、エントロピーが引き起こす課題を深く掘り下げ、ロールアウトとポリシー更新の両フェーズでエントロピーをバランスさせるように設計されたエージェント型RLアルゴリズムである「エージェント型エントロピーバランスポリシー最適化（AEPO）」を提案する。AEPOは2つのコアコンポーネントから構成される：（1）エントロピー事前監視を通じてグローバルおよびブランチサンプリング予算を適応的に割り当てるとともに、連続する高エントロピーツール呼び出しステップにブランチペナルティを課すことで過剰なブランチング問題を防ぐ動的エントロピーバランスロールアウトメカニズム、および（2）高エントロピークリッピング項にストップグラデント操作を挿入して高エントロピートークンの勾配を保存し適切に再スケーリングするとともに、エントロピーを考慮したアドバンテージ推定を組み込むことで高不確実性トークンの学習を優先するエントロピーバランスポリシー最適化。14の挑戦的なデータセットにわたる結果は、AEPOが7つの主流RLアルゴリズムを一貫して上回ることを示している。わずか1KのRLサンプルで、AEPOを適用したQwen3-14Bは、Pass@1においてGAIAで47.6%、Humanity's Last Examで11.2%、WebWalkerで43.0%、Pass@5においてGAIAで65.0%、Humanity's Last Examで26.0%、WebWalkerで70.0%という印象的な結果を達成した。さらなる分析により、AEPOがロールアウトサンプリングの多様性を向上させつつポリシーエントロピーを安定させ、スケーラブルなウェブエージェントトレーニングを促進することが明らかになった。

English

Recently, Agentic Reinforcement Learning (Agentic RL) has made significant progress in incentivizing the multi-turn, long-horizon tool-use capabilities of web agents. While mainstream agentic RL algorithms autonomously explore high-uncertainty tool-call steps under the guidance of entropy, excessive reliance on entropy signals can impose further constraints, leading to the training collapse. In this paper, we delve into the challenges caused by entropy and propose the Agentic Entropy-Balanced Policy Optimization (AEPO), an agentic RL algorithm designed to balance entropy in both the rollout and policy update phases. AEPO comprises two core components: (1) a dynamic entropy-balanced rollout mechanism that adaptively allocate global and branch sampling budget through entropy pre-monitoring, while imposing a branch penalty on consecutive high-entropy tool-call steps to prevent over-branching issues; and (2) Entropy-Balanced Policy Optimization that inserts a stop-gradient operation into the high-entropy clipping term to preserve and properly rescale gradients on high-entropy tokens, while incorporating entropy-aware advantage estimation to prioritize learning on high-uncertainty tokens. Results across 14 challenging datasets show that AEPO consistently outperforms 7 mainstream RL algorithms. With just 1K RL samples, Qwen3-14B with AEPO achieves impressive results: 47.6% on GAIA, 11.2% on Humanity's Last Exam, and 43.0% on WebWalker for Pass@1; 65.0% on GAIA, 26.0% on Humanity's Last Exam, and 70.0% on WebWalker for Pass@5. Further analysis reveals that AEPO improves rollout sampling diversity while maintaining stable policy entropy, facilitating scalable web agent training.