Denser ≠ Better : Limites de l'auto-distillation sur politique pour le post-entraînement continu

Résumé

Le post-entraînement continu permet aux modèles de base d'acquérir de nouvelles connaissances tout en préservant leurs capacités existantes. Des travaux récents suggèrent que l'apprentissage on-policy peut atténuer l'oubli, l'auto-distillation on-policy apparaissant comme une approche particulièrement intéressante. Dans ce travail, nous réévaluons cette vision optimiste à travers l'optimisation de politique par auto-distillation (SDPO). Nos expériences montrent que SDPO peut accélérer la spécialisation intra-domaine lorsque les signaux de l'enseignant sont stables et bien alignés, mais qu'il peine à généraliser aux scénarios hors distribution. En post-entraînement continu, SDPO présente un oubli plus marqué et peut même s'effondrer, tandis que les méthodes d'apprentissage par renforcement on-policy telles que GRPO s'adaptent de manière plus conservatrice et préservent mieux les capacités antérieures. Des analyses supplémentaires révèlent qu'une auto-distillation plus dense induit une plus grande dérive à la fois dans l'espace des paramètres et dans l'espace des réponses, et peut amplifier les artefacts de formatage haute fréquence via une boucle enseignant-élève auto-renforçante. Ces résultats suggèrent que les données on-policy seules sont insuffisantes pour l'apprentissage continu. L'auto-distillation dense peut accélérer la spécialisation lorsque les cibles de l'enseignant sont stables et que la supervision au niveau des jetons est fiable, mais elle ne doit pas être considérée comme un stabilisateur par défaut pour le post-entraînement continu. Notre code est disponible à l'adresse https://github.com/Moenupa/SDPO-CL.

English

Continual post-training enables foundation models to acquire new knowledge while preserving existing capabilities. Recent work suggests that on-policy learning can mitigate forgetting, with on-policy self-distillation emerging as a particularly attractive approach. In this work, we revisit this optimistic view through self-distillation policy optimization (SDPO). Our experiments show that SDPO can accelerate in-domain specialization when teacher signals are stable and well aligned, but it struggles to generalize to out-of-distribution scenarios. In continual post-training, SDPO exhibits stronger forgetting and can even collapse, whereas on-policy reinforcement learning methods such as GRPO adapt more conservatively and better preserve prior capabilities. Further analyses reveal that denser self-distillation induces larger drift in both parameter space and response space, and can amplify high-frequency formatting artifacts through a self-reinforcing teacher--student loop. These findings suggest that on-policy data alone is insufficient for continual learning. Dense self-distillation can accelerate specialization when teacher targets are stable and token-level supervision is reliable, but it should not be treated as a default stabilizer for continual post-training. Our code is available at https://github.com/Moenupa/SDPO-CL.