Accelerazione dei Rollout Post-Addestramento RL tramite Decodifica Speculativa Integrata nel Sistema
Accelerating RL Post-Training Rollouts via System-Integrated Speculative Decoding
April 29, 2026
Autori: Hayate Iso, Tiyasa Mitra, Sudipta Mondal, Rasoul Shafipour, Venmugil Elango, Terry Kong, Yuki Huang, Seonjin Na, Izzy Putterman, Benjamin Chislett, Maor Ashkenazi, Joseph Guman, Gerald Shen, Tugrul Konuk, Ashwath Aithal, Ritika Borkar, Ran Zilberstein, Bita Rouhani
cs.AI
Abstract
L'addestramento RL post-allenamento dei modelli linguistici di frontiera è sempre più limitato dalla generazione autoregressiva dei rollout, rendendo l'accelerazione dei rollout una sfida sistematica centrale. Molti metodi di efficienza esistenti migliorano il throughput modificando il regime di rollout o di ottimizzazione, ad esempio attraverso l'esecuzione off-policy, il replay o la generazione a precisione ridotta. Studiamo lo speculative decoding come primitiva di accelerazione senza perdite per i rollout RL che preserva la distribuzione di output del modello target. Implementiamo lo speculative decoding in NeMo-RL con un backend vLLM, supportando sia pipeline sincrone che asincrone e abilitando la speculazione durante i rollout RL. Questo vantaggio è realizzabile attraverso diversi meccanismi di speculazione, come teste MTP pre-addestrate, piccoli modelli draft esterni o persino tecniche come Eagle3, tradizionalmente applicate dopo la fase RL. Ciò fornisce un percorso di deployment per lo speculative decoding allo stato dell'arte all'interno dell'addestramento RL. In un carico di lavoro di post-allenamento per il ragionamento su scala 8B con RL sincrono, lo speculative decoding migliora il throughput dei rollout di 1.8x. Utilizzando un simulatore di prestazioni ad alta fedeltà, prevediamo che combinare lo speculative decoding con RL asincrono produca un speedup end-to-end dell'addestramento fino a 2.5x su scala 235B.
English
RL post-training of frontier language models is increasingly bottlenecked by autoregressive rollout generation, making rollout acceleration a central systems challenge. Many existing efficiency methods improve throughput by changing the rollout or optimization regime, for example, through off-policy execution, replay, or lower-precision generation. We study speculative decoding as a lossless acceleration primitive for RL rollouts that preserves the target model's output distribution. We implement speculative decoding in NeMo-RL with a vLLM backend, supporting both synchronous and asynchronous pipelines and enabling speculation during RL rollouts. This benefit is realizable across speculation mechanisms, such as pretrained MTP heads, small external draft models or even techniques such as Eagle3, which are traditionally applied after RL phase. This yields a deployment path for state-of-the-art speculative decoding inside RL training. In a reasoning post-training workload at 8B scale under synchronous RL, speculative decoding improves rollout throughput by 1.8x. Using a high-fidelity performance simulator, we project that combining speculative decoding with asynchronous RL yields up to 2.5x end-to-end training speedup at 235B scale.