Single-Rollout-asynchrone Optimierung für agentisches bestärkendes Lernen

Zusammenfassung

Verstärkendes Lernen (RL) gewinnt zunehmend an Bedeutung für das Post-Training großer Sprachmodelle (LLMs). Bisherige RL-Pipelines für LLMs waren größtenteils synchron und batch-verschachtelt, was für langfristige agentische Aufgaben ineffizient ist. In jüngerer Zeit hat sich asynchrones RL als effizientere Alternative etabliert, indem das Modell aktualisiert wird, sobald Rollouts eintreffen. Allerdings legen bestehende asynchrone RL-Systeme oft den Schwerpunkt auf Durchsatz, während Trainingsstabilität und Aufgabeneffektivität weitgehend unerforscht bleiben. Eine zentrale Herausforderung ist beispielsweise, dass das im weit verbreiteten GRPO-Framework verwendete gruppenweise Sampling nicht natürlich zu asynchronem agentischem Training passt. In diesem Papier stellen wir Single-rollout Asynchronous Optimization (SAO) vor, um die Stabilitäts- und Off-Policy-Herausforderungen im asynchronen RL zu bewältigen. Zur Verringerung von Off-Policy-Effekten und zur Verbesserung der Generalisierung ersetzen wir das gruppenweise Sampling durch Einzel-Rollout-Sampling, d.h. die Verwendung eines Rollouts pro Prompt. Wir verbessern diese Einzel-Rollout-Strategie weiter durch praktische Designs für das Training von Werte-Modellen. Zur Verbesserung der Optimierungsstabilität führen wir eine strenge beidseitige Token-Level-Clipping-Strategie ein. SAO kann über tausend Schritte stabil trainieren und übertrifft durchgängig GRPO und seine Varianten bei agentischen Codierungs- und Reasoning-Benchmarks wie SWE-Bench Verified, BeyondAIME und IMOAnswerBench. Wir zeigen auch, dass Einzel-Rollout-RL besonders effektiv in einer simulierten Online-Lernumgebung ist, in der sich das Modell an sich ändernde, evolvierende Umgebungen anpassen muss. Zu diesem Zweck wird SAO erfolgreich in der agentischen RL-Pipeline zum Training des offenen GLM-5.2-Modells (750B-A40B) eingesetzt.

English

Reinforcement learning (RL) is becoming increasingly important for post-training large language models (LLMs). Previous RL pipelines for LLMs were mostly synchronous and batch-interleaved, which is inefficient for long-horizon agentic tasks. Recently, asynchronous RL has emerged as a more efficient alternative by updating the model as rollouts arrive. However, existing asynchronous RL systems often emphasize throughput, while leaving training stability and task effectiveness largely underexplored. For example, a key challenge is that group-wise sampling in the widely-used GRPO framework does not naturally fit asynchronous agentic training. In this paper, we present Single-rollout Asynchronous Optimization (SAO) to address the stability and off-policy challenges in asynchronous RL. To reduce off-policy effects and improve generalization, we replace group-wise sampling with single-rollout sampling, that is, using one rollout per prompt. We further improve this single-rollout strategy with practical value-model training designs. To improve optimization stability, we introduce a strict double-side token-level clipping strategy. SAO is able to train stably for one thousand steps and consistently outperform GRPO and its variants on agentic coding and reasoning benchmarks, such as SWE-Bench Verified, BeyondAIME, and IMOAnswerBench. We also demonstrate that single-rollout RL is particularly effective in a simulated online learning setting, where the model must adapt to changing evolving environments. To this end, SAO is successfully deployed in the agentic RL pipeline for training the open GLM-5.2 model (750B-A40B).