Ускорение посттренировочных прогонов RL с помощью системной спекулятивной декодирования
Accelerating RL Post-Training Rollouts via System-Integrated Speculative Decoding
April 29, 2026
Авторы: Hayate Iso, Tiyasa Mitra, Sudipta Mondal, Rasoul Shafipour, Venmugil Elango, Terry Kong, Yuki Huang, Seonjin Na, Izzy Putterman, Benjamin Chislett, Maor Ashkenazi, Joseph Guman, Gerald Shen, Tugrul Konuk, Ashwath Aithal, Ritika Borkar, Ran Zilberstein, Bita Rouhani
cs.AI
Аннотация
Пост-обучение с подкреплением (RL) передовых языковых моделей все чаще ограничивается скоростью генерации автогрессивных разверток (rollouts), что делает ускорение разверток ключевой задачей в области систем. Многие существующие методы повышения эффективности увеличивают пропускную способность за счет изменения режима развертки или оптимизации, например, с помощью исполнения вне политики (off-policy), повторного использования опыта (replay) или генерации с пониженной точностью. Мы исследуем спекулятивное декодирование (speculative decoding) как метод безубыточного ускорения RL-разверток, который сохраняет выходное распределение целевой модели. Мы реализовали спекулятивное декодирование в NeMo-RL с использованием бэкенда vLLM, поддерживая как синхронные, так и асинхронные конвейеры и обеспечивая возможность спекуляции во время RL-разверток. Это преимущество реализуемо для различных механизмов спекуляции, таких как предобученные MTP-головы (Mixture-of-Experts Token Prediction), небольшие внешние черновые модели (draft models) или даже такие методы, как Eagle3, которые традиционно применяются после фазы RL. Это открывает путь к внедрению передовых методов спекулятивного декодирования непосредственно в процесс RL-обучения. В задаче пост-обучения рассуждениям для модели масштаба 8 млрд параметров в условиях синхронного RL спекулятивное декодирование повышает пропускную способность разверток в 1,8 раза. Используя высокоточный симулятор производительности, мы прогнозируем, что комбинация спекулятивного декодирования с асинхронным RL позволяет достичь до 2,5-кратного ускорения сквозного обучения для модели масштаба 235 млрд параметров.
English
RL post-training of frontier language models is increasingly bottlenecked by autoregressive rollout generation, making rollout acceleration a central systems challenge. Many existing efficiency methods improve throughput by changing the rollout or optimization regime, for example, through off-policy execution, replay, or lower-precision generation. We study speculative decoding as a lossless acceleration primitive for RL rollouts that preserves the target model's output distribution. We implement speculative decoding in NeMo-RL with a vLLM backend, supporting both synchronous and asynchronous pipelines and enabling speculation during RL rollouts. This benefit is realizable across speculation mechanisms, such as pretrained MTP heads, small external draft models or even techniques such as Eagle3, which are traditionally applied after RL phase. This yields a deployment path for state-of-the-art speculative decoding inside RL training. In a reasoning post-training workload at 8B scale under synchronous RL, speculative decoding improves rollout throughput by 1.8x. Using a high-fidelity performance simulator, we project that combining speculative decoding with asynchronous RL yields up to 2.5x end-to-end training speedup at 235B scale.