Плотнее ≠ Лучше: Ограничения самодистилляции на политике для непрерывного пост-обучения

Аннотация

Непрерывное пост-обучение позволяет базовым моделям усваивать новые знания, сохраняя при этом существующие способности. Недавние работы показывают, что обучение на политике (on-policy learning) может смягчить забывание, причём самодистилляция на политике (on-policy self-distillation) становится особенно привлекательным подходом. В данной работе мы пересматриваем этот оптимистичный взгляд на примере оптимизации политики с самодистилляцией (self-distillation policy optimization, SDPO). Наши эксперименты демонстрируют, что SDPO может ускорять специализацию в рамках домена, когда сигналы учителя стабильны и хорошо согласованы, однако этот метод плохо обобщается на сценарии вне распределения. В условиях непрерывного пост-обучения SDPO проявляет более сильное забывание и может даже коллапсировать, тогда как методы обучения на политике, основанные на подкреплении, такие как GRPO, адаптируются более консервативно и лучше сохраняют ранее приобретённые способности. Дальнейший анализ показывает, что более плотная самодистилляция вызывает больший дрейф как в пространстве параметров, так и в пространстве ответов, и может усиливать высокочастотные артефакты форматирования через самоподкрепляющийся цикл «учитель–ученик». Эти результаты указывают на то, что одних данных, собранных на политике, недостаточно для непрерывного обучения. Плотная самодистилляция может ускорять специализацию при стабильных целевых сигналах учителя и надёжном пословном контроле, но её не следует рассматривать как универсальный стабилизатор для непрерывного пост-обучения. Наш код доступен по адресу: https://github.com/Moenupa/SDPO-CL.

English

Continual post-training enables foundation models to acquire new knowledge while preserving existing capabilities. Recent work suggests that on-policy learning can mitigate forgetting, with on-policy self-distillation emerging as a particularly attractive approach. In this work, we revisit this optimistic view through self-distillation policy optimization (SDPO). Our experiments show that SDPO can accelerate in-domain specialization when teacher signals are stable and well aligned, but it struggles to generalize to out-of-distribution scenarios. In continual post-training, SDPO exhibits stronger forgetting and can even collapse, whereas on-policy reinforcement learning methods such as GRPO adapt more conservatively and better preserve prior capabilities. Further analyses reveal that denser self-distillation induces larger drift in both parameter space and response space, and can amplify high-frequency formatting artifacts through a self-reinforcing teacher--student loop. These findings suggest that on-policy data alone is insufficient for continual learning. Dense self-distillation can accelerate specialization when teacher targets are stable and token-level supervision is reliable, but it should not be treated as a default stabilizer for continual post-training. Our code is available at https://github.com/Moenupa/SDPO-CL.