에이전트 강화 학습을 위한 단일 롤아웃 비동기 최적화

초록

강화학습(RL)은 대규모 언어 모델(LLM)의 사후 학습(post-training)에서 점점 더 중요해지고 있다. 기존 LLM용 RL 파이프라인은 대부분 동기식(synchronous)이며 배치 인터리브(batch-interleaved) 방식으로, 장기적 에이전트 작업(long-horizon agentic tasks)에는 비효율적이었다. 최근에는 롤아웃(rollout)이 도착하는 대로 모델을 업데이트하는 비동기식 RL(asynchronous RL)이 더 효율적인 대안으로 부상했다. 그러나 기존 비동기식 RL 시스템은 종종 처리량(throughput)을 강조하는 반면, 학습 안정성(training stability)과 작업 효과성(task effectiveness)은 거의 탐구되지 않은 상태로 남아 있다. 예를 들어, 널리 사용되는 GRPO 프레임워크의 그룹 단위 샘플링(group-wise sampling)은 비동기식 에이전트 학습에는 자연스럽게 맞지 않는다는 것이 주요 과제이다. 본 논문에서는 비동기식 RL의 안정성과 오프-폴리시(off-policy) 문제를 해결하기 위해 단일 롤아웃 비동기 최적화(Single-rollout Asynchronous Optimization, SAO)를 제안한다. 오프-폴리시 효과를 줄이고 일반화를 개선하기 위해, 그룹 단위 샘플링을 단일 롤아웃 샘플링(single-rollout sampling), 즉 프롬프트당 하나의 롤아웃을 사용하는 방식으로 대체한다. 또한 이 단일 롤아웃 전략을 실용적인 가치 모델 학습 설계(value-model training designs)로 더욱 개선한다. 최적화 안정성을 높이기 위해, 엄격한 양면 토큰 수준 클리핑(strict double-side token-level clipping) 전략을 도입한다. SAO는 천 단계까지 안정적으로 학습할 수 있으며, SWE-Bench Verified, BeyondAIME, IMOAnswerBench와 같은 에이전트 코딩 및 추론 벤치마크에서 GRPO 및 그 변형들을 일관되게 능가한다. 또한 단일 롤아웃 RL이 시뮬레이션된 온라인 학습 환경(simulated online learning setting), 즉 모델이 변화하는 진화 환경에 적응해야 하는 상황에서 특히 효과적임을 입증한다. 이를 바탕으로, SAO는 오픈 GLM-5.2 모델(750B-A40B) 학습을 위한 에이전트 RL 파이프라인에 성공적으로 배포되었다.

English

Reinforcement learning (RL) is becoming increasingly important for post-training large language models (LLMs). Previous RL pipelines for LLMs were mostly synchronous and batch-interleaved, which is inefficient for long-horizon agentic tasks. Recently, asynchronous RL has emerged as a more efficient alternative by updating the model as rollouts arrive. However, existing asynchronous RL systems often emphasize throughput, while leaving training stability and task effectiveness largely underexplored. For example, a key challenge is that group-wise sampling in the widely-used GRPO framework does not naturally fit asynchronous agentic training. In this paper, we present Single-rollout Asynchronous Optimization (SAO) to address the stability and off-policy challenges in asynchronous RL. To reduce off-policy effects and improve generalization, we replace group-wise sampling with single-rollout sampling, that is, using one rollout per prompt. We further improve this single-rollout strategy with practical value-model training designs. To improve optimization stability, we introduce a strict double-side token-level clipping strategy. SAO is able to train stably for one thousand steps and consistently outperform GRPO and its variants on agentic coding and reasoning benchmarks, such as SWE-Bench Verified, BeyondAIME, and IMOAnswerBench. We also demonstrate that single-rollout RL is particularly effective in a simulated online learning setting, where the model must adapt to changing evolving environments. To this end, SAO is successfully deployed in the agentic RL pipeline for training the open GLM-5.2 model (750B-A40B).