AsyncOPD : À quel point la distillation on-policy peut-elle être obsolète ?

Résumé

La distillation sur politique (OPD) entraîne un élève sur ses propres déroulements guidés par les retours de l'enseignant et devient de plus en plus importante pour le post-entraînement des grands modèles de langage (LLM). Cependant, comme l'apprentissage par renforcement (RL), l'OPD fait face à un goulot d'étranglement système sur politique, car les déroulements peuvent dominer le temps d'entraînement pour les charges de travail de raisonnement. Les pipelines d'entraînement asynchrones peuvent atténuer ce goulot d'étranglement en découplant la génération de déroulements des mises à jour de l'apprenant, mais cela introduit des données de politique obsolète. Bien que des travaux antérieurs aient étudié les données obsolètes dans le RL asynchrone, leurs effets dans l'OPD restent sous-explorés. Nous présentons la première étude systématique de l'obsolescence dans l'OPD asynchrone, en nous concentrant sur un cadre pratique où les retours de l'enseignant sont implémentés via des pertes KL locales et où les logits complets de l'enseignant sont trop coûteux à stocker ou transférer, nécessitant des caches finis de scores de l'enseignant. Nous montrons d'abord que la direction de la divergence KL modifie le problème des données obsolètes : la KL directe pondérée par l'enseignant est plus robuste aux déroulements obsolètes, tandis que la KL inverse pondérée par l'élève est vulnérable. Deuxièmement, pour ce cas vulnérable de KL inverse, nous étudions si des méthodes conçues pour stabiliser le RL asynchrone peuvent atténuer l'obsolescence de l'OPD. Dans nos expériences, elles ne s'améliorent pas par rapport à une solution de substitution plus simple spécifique à l'OPD : recalculer le signal KL inverse sous l'élève actuel au moment de l'apprenant. Troisièmement, nous analysons comment les caches finis de scores de l'enseignant créent un compromis biais-variance pour les estimateurs OPD de KL inverse parcimonieux et échantillonnés. Cela motive le Monte Carlo multi-échantillons (MC), qui préserve la corrigibilité MC tout en réduisant la variance d'un seul échantillon. Enfin, nous présentons et publions en open source AsyncOPD, un pipeline d'entraînement OPD entièrement asynchrone construit à partir de ces choix d'estimateurs. Les expériences montrent qu'AsyncOPD améliore le débit d'entraînement de 1,6 à 3,8 fois par rapport à un entraînement strictement synchrone tout en atteignant une précision comparable.

English

On-policy distillation (OPD) trains a student on its own rollouts guided by teacher feedback and is becoming increasingly important for large language model (LLM) post-training. Like reinforcement learning (RL), however, OPD faces an on-policy systems bottleneck, as rollouts can dominate training time for reasoning workloads. Asynchronous training pipelines can alleviate this bottleneck by decoupling rollout generation from learner updates, but doing so introduces stale-policy data. While prior work has studied stale data in asynchronous RL, its effects in OPD remain underexplored. We present the first systematic study of staleness in asynchronous OPD, focusing on a practical setting where teacher feedback is implemented through local KL losses and full-vocabulary teacher logits are too expensive to store or transfer, necessitating finite teacher-score caches. We first show that KL direction changes the stale-data problem: teacher-weighted forward KL is more robust to stale rollouts, whereas student-weighted reverse KL is vulnerable. Second, for this vulnerable reverse-KL case, we study whether methods designed to stabilize asynchronous RL can mitigate OPD staleness. In our experiments, they do not improve over a simpler OPD-specific surrogate: recomputing the reverse-KL signal under the current student at learner time. Third, we analyze how finite teacher-score caches create a bias-variance tradeoff for sparse and sampled reverse-KL OPD estimators. This motivates multi-sample Monte Carlo (MC), which preserves MC correctability while reducing one-sample variance. Finally, we present and open-source AsyncOPD, a fully asynchronous OPD training pipeline built from these estimator choices. Experiments show that AsyncOPD improves training throughput by 1.6times to 3.8times over strict synchronous training while reaching comparable accuracy.