Beschleunigung von RL-Post-Training-Rollouts durch systemintegriertes spekulatives Decodieren
Accelerating RL Post-Training Rollouts via System-Integrated Speculative Decoding
April 29, 2026
Autoren: Hayate Iso, Tiyasa Mitra, Sudipta Mondal, Rasoul Shafipour, Venmugil Elango, Terry Kong, Yuki Huang, Seonjin Na, Izzy Putterman, Benjamin Chislett, Maor Ashkenazi, Joseph Guman, Gerald Shen, Tugrul Konuk, Ashwath Aithal, Ritika Borkar, Ran Zilberstein, Bita Rouhani
cs.AI
Zusammenfassung
Das RL-Post-Training von hochmodernen Sprachmodellen wird zunehmend durch die autoregressive Erzeugung von Rollouts limitiert, was die Beschleunigung von Rollouts zu einer zentralen Systemherausforderung macht. Viele bestehende Effizienzmethoden verbessern den Durchsatz durch Änderungen am Rollout- oder Optimierungsregime, beispielsweise durch Off-Policy-Ausführung, Replay oder Erzeugung mit geringerer Präzision. Wir untersuchen spekulatives Decodieren als verlustfreie Beschleunigungsprimitive für RL-Rollouts, die die Ausgabeverteilung des Zielmodells bewahrt. Wir implementieren spekulatives Decodieren in NeMo-RL mit einem vLLM-Backend, das sowohl synchrone als auch asynchrone Pipelines unterstützt und Spekulation während RL-Rollouts ermöglicht. Dieser Vorteil ist über verschiedene Spekulationsmechanismen hinweg realisierbar, wie z.B. vortrainierte MTP-Heads, kleine externe Draft-Modelle oder sogar Techniken wie Eagle3, die traditionell erst nach der RL-Phase angewendet werden. Dies eröffnet einen Einsatzweg für modernstes spekulatives Decodieren innerhalb des RL-Trainings. In einer Reasoning-Post-Training-Workload im 8B-Maßstab unter synchronem RL verbessert spekulatives Decodieren den Rollout-Durchsatz um das 1,8-fache. Mithilfe eines hochpräzisen Leistungssimulators prognostizieren wir, dass die Kombination von spekulativem Decodieren mit asynchronem RL im 235B-Maßstab eine bis zu 2,5-fache Beschleunigung des End-to-End-Trainings ermöglicht.
English
RL post-training of frontier language models is increasingly bottlenecked by autoregressive rollout generation, making rollout acceleration a central systems challenge. Many existing efficiency methods improve throughput by changing the rollout or optimization regime, for example, through off-policy execution, replay, or lower-precision generation. We study speculative decoding as a lossless acceleration primitive for RL rollouts that preserves the target model's output distribution. We implement speculative decoding in NeMo-RL with a vLLM backend, supporting both synchronous and asynchronous pipelines and enabling speculation during RL rollouts. This benefit is realizable across speculation mechanisms, such as pretrained MTP heads, small external draft models or even techniques such as Eagle3, which are traditionally applied after RL phase. This yields a deployment path for state-of-the-art speculative decoding inside RL training. In a reasoning post-training workload at 8B scale under synchronous RL, speculative decoding improves rollout throughput by 1.8x. Using a high-fidelity performance simulator, we project that combining speculative decoding with asynchronous RL yields up to 2.5x end-to-end training speedup at 235B scale.