Single-Rollout Asynchrone Optimalisatie voor Agentische Reinforcement Learning

Samenvatting

Reinforcement learning (RL) wordt steeds belangrijker voor het post-trainen van grote taalmodellen (LLMs). Eerdere RL-pijplijnen voor LLMs waren meestal synchroon en batch-interleaved, wat inefficiënt is voor langdurige agentische taken. Recentelijk is asynchrone RL naar voren gekomen als een efficiënter alternatief, door het model bij te werken zodra rollouts arriveren. Bestaande asynchrone RL-systemen leggen echter vaak de nadruk op doorvoer, terwijl trainingsstabiliteit en taakeffectiviteit grotendeels onderbelicht blijven. Een belangrijke uitdaging is bijvoorbeeld dat groepsgewijze sampling in het veelgebruikte GRPO-framework niet van nature past bij asynchrone agentische training. In dit artikel presenteren we Single-rollout Asynchronous Optimization (SAO) om de stabiliteits- en off-policy-uitdagingen in asynchrone RL aan te pakken. Om off-policy-effecten te verminderen en generalisatie te verbeteren, vervangen we groepsgewijze sampling door single-rollout-sampling, dat wil zeggen het gebruik van één rollout per prompt. We verbeteren deze single-rollout-strategie verder met praktische ontwerpen voor het trainen van waardenmodellen. Om de optimalisatiestabiliteit te verbeteren, introduceren we een strikte dubbelzijdige token-niveau clipping-strategie. SAO kan stabiel training gedurende duizend stappen en presteert consistent beter dan GRPO en zijn varianten op agentische codeer- en redeneerbenchmarks, zoals SWE-Bench Verified, BeyondAIME en IMOAnswerBench. We tonen ook aan dat single-rollout RL bijzonder effectief is in een gesimuleerde online leeromgeving, waar het model zich moet aanpassen aan veranderende omgevingen. Daartoe wordt SAO succesvol ingezet in de agentische RL-pijplijn voor het trainen van het open GLM-5.2-model (750B-A40B).

English

Reinforcement learning (RL) is becoming increasingly important for post-training large language models (LLMs). Previous RL pipelines for LLMs were mostly synchronous and batch-interleaved, which is inefficient for long-horizon agentic tasks. Recently, asynchronous RL has emerged as a more efficient alternative by updating the model as rollouts arrive. However, existing asynchronous RL systems often emphasize throughput, while leaving training stability and task effectiveness largely underexplored. For example, a key challenge is that group-wise sampling in the widely-used GRPO framework does not naturally fit asynchronous agentic training. In this paper, we present Single-rollout Asynchronous Optimization (SAO) to address the stability and off-policy challenges in asynchronous RL. To reduce off-policy effects and improve generalization, we replace group-wise sampling with single-rollout sampling, that is, using one rollout per prompt. We further improve this single-rollout strategy with practical value-model training designs. To improve optimization stability, we introduce a strict double-side token-level clipping strategy. SAO is able to train stably for one thousand steps and consistently outperform GRPO and its variants on agentic coding and reasoning benchmarks, such as SWE-Bench Verified, BeyondAIME, and IMOAnswerBench. We also demonstrate that single-rollout RL is particularly effective in a simulated online learning setting, where the model must adapt to changing evolving environments. To this end, SAO is successfully deployed in the agentic RL pipeline for training the open GLM-5.2 model (750B-A40B).