エージェント強化学習における単一ロールアウト非同期最適化

要旨

強化学習（RL）は、大規模言語モデル（LLM）のポストトレーニングにおいてますます重要性を増している。これまでのLLM向けRLパイプラインは主に同期型であり、バッチをインターリーブする方式であったため、長期的なエージェントタスクには非効率であった。近年、非同期RLが、ロールアウトが到着するたびにモデルを更新する、より効率的な代替手法として登場している。しかし、既存の非同期RLシステムはスループットを重視する一方で、訓練の安定性やタスクの有効性についてはほとんど検討されていない。例えば、広く用いられているGRPOフレームワークにおけるグループ単位のサンプリングは、非同期エージェントトレーニングには自然に適合しないという重要な課題がある。本論文では、非同期RLにおける安定性とオフポリシーの課題に対処するために、シングルロールアウト非同期最適化（SAO）を提案する。オフポリシーの影響を低減し汎化性能を向上させるため、グループ単位のサンプリングをシングルロールアウトサンプリング、すなわちプロンプトあたり1つのロールアウトを用いる方式に置き換える。さらに、このシングルロールアウト戦略を実用的な価値モデル訓練設計により改善する。最適化の安定性を向上させるために、厳格な両側トークンレベルのクリッピング戦略を導入する。SAOは1000ステップにわたって安定した訓練が可能であり、SWE-Bench Verified、BeyondAIME、IMOAnswerBenchなどのエージェントコーディングおよび推論ベンチマークにおいて、GRPOおよびその派生手法を一貫して上回る性能を示す。また、モデルが変化する環境に適応しなければならないシミュレーションされたオンライン学習環境において、シングルロールアウトRLが特に効果的であることを実証する。これにより、SAOはオープンモデルGLM-5.2（750B-A40B）の訓練におけるエージェントRLパイプラインに実際に導入されている。

English

Reinforcement learning (RL) is becoming increasingly important for post-training large language models (LLMs). Previous RL pipelines for LLMs were mostly synchronous and batch-interleaved, which is inefficient for long-horizon agentic tasks. Recently, asynchronous RL has emerged as a more efficient alternative by updating the model as rollouts arrive. However, existing asynchronous RL systems often emphasize throughput, while leaving training stability and task effectiveness largely underexplored. For example, a key challenge is that group-wise sampling in the widely-used GRPO framework does not naturally fit asynchronous agentic training. In this paper, we present Single-rollout Asynchronous Optimization (SAO) to address the stability and off-policy challenges in asynchronous RL. To reduce off-policy effects and improve generalization, we replace group-wise sampling with single-rollout sampling, that is, using one rollout per prompt. We further improve this single-rollout strategy with practical value-model training designs. To improve optimization stability, we introduce a strict double-side token-level clipping strategy. SAO is able to train stably for one thousand steps and consistently outperform GRPO and its variants on agentic coding and reasoning benchmarks, such as SWE-Bench Verified, BeyondAIME, and IMOAnswerBench. We also demonstrate that single-rollout RL is particularly effective in a simulated online learning setting, where the model must adapt to changing evolving environments. To this end, SAO is successfully deployed in the agentic RL pipeline for training the open GLM-5.2 model (750B-A40B).