Dichter ≠ Besser: Grenzen der On-Policy-Selbstdestillation für kontinuierliches Post-Training

Zusammenfassung

Kontinuierliches Post-Training ermöglicht es Foundation-Modellen, neues Wissen zu erwerben, während bestehende Fähigkeiten erhalten bleiben. Neuere Arbeiten legen nahe, dass On-Policy-Learning das Vergessen abmildern kann, wobei sich On-Policy-Selbstdestillation als besonders vielversprechender Ansatz herauskristallisiert. In dieser Arbeit überprüfen wir diese optimistische Sichtweise anhand von Self-Distillation Policy Optimization (SDPO). Unsere Experimente zeigen, dass SDPO die domänenspezifische Spezialisierung beschleunigen kann, wenn die Lehrer-Signale stabil und gut ausgerichtet sind, aber Schwierigkeiten hat, auf Szenarien außerhalb der Verteilung zu generalisieren. Beim kontinuierlichen Post-Training zeigt SDPO stärkeres Vergessen und kann sogar kollabieren, während On-Policy-Verstärkungslernmethoden wie GRPO konservativer adaptieren und frühere Fähigkeiten besser bewahren. Weitere Analysen offenbaren, dass dichtere Selbstdestillation zu größerem Drift sowohl im Parameterraum als auch im Antwortraum führt und hochfrequente Formatierungsartefakte durch eine sich selbst verstärkende Lehrer-Schüler-Schleife verstärken kann. Diese Ergebnisse deuten darauf hin, dass allein On-Policy-Daten für kontinuierliches Lernen nicht ausreichen. Dichte Selbstdestillation kann die Spezialisierung beschleunigen, wenn die Lehrer-Ziele stabil sind und die Überwachung auf Token-Ebene zuverlässig ist, sollte aber nicht als Standard-Stabilisator für kontinuierliches Post-Training betrachtet werden. Unser Code ist verfügbar unter https://github.com/Moenupa/SDPO-CL.

English

Continual post-training enables foundation models to acquire new knowledge while preserving existing capabilities. Recent work suggests that on-policy learning can mitigate forgetting, with on-policy self-distillation emerging as a particularly attractive approach. In this work, we revisit this optimistic view through self-distillation policy optimization (SDPO). Our experiments show that SDPO can accelerate in-domain specialization when teacher signals are stable and well aligned, but it struggles to generalize to out-of-distribution scenarios. In continual post-training, SDPO exhibits stronger forgetting and can even collapse, whereas on-policy reinforcement learning methods such as GRPO adapt more conservatively and better preserve prior capabilities. Further analyses reveal that denser self-distillation induces larger drift in both parameter space and response space, and can amplify high-frequency formatting artifacts through a self-reinforcing teacher--student loop. These findings suggest that on-policy data alone is insufficient for continual learning. Dense self-distillation can accelerate specialization when teacher targets are stable and token-level supervision is reliable, but it should not be treated as a default stabilizer for continual post-training. Our code is available at https://github.com/Moenupa/SDPO-CL.