AsyncOPD: Wie veraltet kann On-Policy-Destillation sein?

Zusammenfassung

On-Policy-Destillation (OPD) trainiert einen Schüler auf dessen eigenen Rollouts, angeleitet durch Lehrer-Feedback, und gewinnt zunehmend an Bedeutung für das Post-Training großer Sprachmodelle (LLMs). Ähnlich wie beim verstärkenden Lernen (RL) steht OPD jedoch vor einem systembedingten Engpass der On-Policy-Verfahren, da Rollouts bei Denkaufgaben die Trainingszeit dominieren können. Asynchrone Trainingspipelines können diesen Engpass mildern, indem sie die Erzeugung von Rollouts von den Lernenden-Updates entkoppeln, führen jedoch veraltete Policy-Daten ein. Während frühere Arbeiten veraltete Daten im asynchronen RL untersucht haben, sind ihre Auswirkungen im OPD noch wenig erforscht. Wir präsentieren die erste systematische Untersuchung von Veralterung in asynchronem OPD, wobei wir uns auf eine praktische Umgebung konzentrieren, in der Lehrer-Feedback durch lokale KL-Verluste implementiert wird und vollständige Vokabular-Lehrer-Logits zu teuer zum Speichern oder Übertragen sind, was endliche Lehrer-Score-Caches erforderlich macht. Wir zeigen zunächst, dass die KL-Richtung das Problem veralteter Daten verändert: Die lehrergewichtete Vorwärts-KL ist robuster gegenüber veralteten Rollouts, während die schülergewichtete Rückwärts-KL anfällig ist. Zweitens untersuchen wir für diesen anfälligen Fall der Rückwärts-KL, ob Methoden zur Stabilisierung des asynchronen RL die Veralterung im OPD mildern können. In unseren Experimenten verbessern sie keinen einfacheren OPD-spezifischen Ersatz: die Neuberechnung des Rückwärts-KL-Signals unter dem aktuellen Schüler zur Lernzeit. Drittens analysieren wir, wie endliche Lehrer-Score-Caches einen Bias-Varianz-Kompromiss für spärliche und sampelbasierte Rückwärts-KL-OPD-Schätzer schaffen. Dies motiviert den Multi-Sample-Monte-Carlo-Ansatz (MC), der die MC-Korrigierbarkeit bewahrt und gleichzeitig die Ein-Sample-Varianz reduziert. Schließlich präsentieren und veröffentlichen wir AsyncOPD, eine vollständig asynchrone OPD-Trainingspipeline, die auf diesen Schätzerentscheidungen aufbaut. Experimente zeigen, dass AsyncOPD den Trainingsdurchsatz um das 1,6- bis 3,8-fache gegenüber streng synchronem Training verbessert und dabei eine vergleichbare Genauigkeit erreicht.

English

On-policy distillation (OPD) trains a student on its own rollouts guided by teacher feedback and is becoming increasingly important for large language model (LLM) post-training. Like reinforcement learning (RL), however, OPD faces an on-policy systems bottleneck, as rollouts can dominate training time for reasoning workloads. Asynchronous training pipelines can alleviate this bottleneck by decoupling rollout generation from learner updates, but doing so introduces stale-policy data. While prior work has studied stale data in asynchronous RL, its effects in OPD remain underexplored. We present the first systematic study of staleness in asynchronous OPD, focusing on a practical setting where teacher feedback is implemented through local KL losses and full-vocabulary teacher logits are too expensive to store or transfer, necessitating finite teacher-score caches. We first show that KL direction changes the stale-data problem: teacher-weighted forward KL is more robust to stale rollouts, whereas student-weighted reverse KL is vulnerable. Second, for this vulnerable reverse-KL case, we study whether methods designed to stabilize asynchronous RL can mitigate OPD staleness. In our experiments, they do not improve over a simpler OPD-specific surrogate: recomputing the reverse-KL signal under the current student at learner time. Third, we analyze how finite teacher-score caches create a bias-variance tradeoff for sparse and sampled reverse-KL OPD estimators. This motivates multi-sample Monte Carlo (MC), which preserves MC correctability while reducing one-sample variance. Finally, we present and open-source AsyncOPD, a fully asynchronous OPD training pipeline built from these estimator choices. Experiments show that AsyncOPD improves training throughput by 1.6times to 3.8times over strict synchronous training while reaching comparable accuracy.