高密度が良いとは限らない：継続的事後学習におけるオン方策自己蒸留の限界

要旨

継続的なポストトレーニングにより、ファンデーションモデルは既存の能力を維持しながら新しい知識を獲得できる。近年の研究では、オン方策学習が忘却を軽減できる可能性が示唆されており、特にオン方策自己蒸留が魅力的なアプローチとして浮上している。本研究では、自己蒸留方策最適化（SDPO）を通じてこの楽観的な見解を再検討する。実験の結果、SDPOは教師信号が安定し適切に調整されている場合にはドメイン内の特化を加速できるが、分布外のシナリオへの一般化には困難を伴うことが示された。継続的なポストトレーニングにおいて、SDPOはより強い忘却を示し、場合によっては崩壊することもある。一方、GRPOのようなオン方策強化学習手法はより保守的に適応し、以前の能力をより良く保持する。さらなる分析により、密度の高い自己蒸留はパラメータ空間と応答空間の両方でより大きなドリフトを引き起こし、自己強化型の教師-学生ループを通じて高頻度のフォーマットアーティファクトを増幅させる可能性があることが明らかになった。これらの発見は、オン方策データだけでは継続学習に不十分であることを示唆している。密度の高い自己蒸留は、教師のターゲットが安定し、トークンレベルの監視が信頼できる場合に特化を加速できるが、継続的なポストトレーニングのデフォルトの安定化手段として扱うべきではない。我々のコードは https://github.com/Moenupa/SDPO-CL で公開されている。

English

Continual post-training enables foundation models to acquire new knowledge while preserving existing capabilities. Recent work suggests that on-policy learning can mitigate forgetting, with on-policy self-distillation emerging as a particularly attractive approach. In this work, we revisit this optimistic view through self-distillation policy optimization (SDPO). Our experiments show that SDPO can accelerate in-domain specialization when teacher signals are stable and well aligned, but it struggles to generalize to out-of-distribution scenarios. In continual post-training, SDPO exhibits stronger forgetting and can even collapse, whereas on-policy reinforcement learning methods such as GRPO adapt more conservatively and better preserve prior capabilities. Further analyses reveal that denser self-distillation induces larger drift in both parameter space and response space, and can amplify high-frequency formatting artifacts through a self-reinforcing teacher--student loop. These findings suggest that on-policy data alone is insufficient for continual learning. Dense self-distillation can accelerate specialization when teacher targets are stable and token-level supervision is reliable, but it should not be treated as a default stabilizer for continual post-training. Our code is available at https://github.com/Moenupa/SDPO-CL.