Denser ≠ Better: 지속적 사후 훈련을 위한 온-정책 자기 증류의 한계

초록

지속적 사후 학습(continual post-training)은 기반 모델이 기존 능력을 유지하면서 새로운 지식을 습득할 수 있게 한다. 최근 연구는 온-정책 학습(on-policy learning)이 망각을 완화할 수 있으며, 특히 온-정책 자기 증류(on-policy self-distillation)가 매력적인 접근법으로 부각되고 있다. 본 연구에서는 자기 증류 정책 최적화(SDPO)를 통해 이러한 낙관적 관점을 재검토한다. 실험 결과, SDPO는 교사 신호가 안정적이고 잘 정렬된 경우 도메인 내 전문화(in-domain specialization)를 가속화할 수 있지만, 분포 외(out-of-distribution) 시나리오로의 일반화에는 어려움을 겪는다. 지속적 사후 학습에서 SDPO는 더 강한 망각을 보이며 심지어 붕괴(collapse)할 수 있는 반면, GRPO와 같은 온-정책 강화 학습 방법은 더 보수적으로 적응하여 기존 능력을 더 잘 보존한다. 추가 분석에 따르면, 더 조밀한 자기 증류는 매개변수 공간과 응답 공간 모두에서 더 큰 드리프트(drift)를 유발하며, 자기 강화 교사-학생 루프를 통해 고주파 포맷팅 인공물을 증폭시킬 수 있다. 이러한 발견은 온-정책 데이터만으로는 지속적 학습에 충분하지 않음을 시사한다. 조밀한 자기 증류는 교사 목표가 안정적이고 토큰 수준의 감독이 신뢰할 수 있을 때 전문화를 가속화할 수 있지만, 지속적 사후 학습의 기본 안정화 장치로 간주되어서는 안 된다. 본 연구의 코드는 https://github.com/Moenupa/SDPO-CL에서 확인할 수 있다.

English

Continual post-training enables foundation models to acquire new knowledge while preserving existing capabilities. Recent work suggests that on-policy learning can mitigate forgetting, with on-policy self-distillation emerging as a particularly attractive approach. In this work, we revisit this optimistic view through self-distillation policy optimization (SDPO). Our experiments show that SDPO can accelerate in-domain specialization when teacher signals are stable and well aligned, but it struggles to generalize to out-of-distribution scenarios. In continual post-training, SDPO exhibits stronger forgetting and can even collapse, whereas on-policy reinforcement learning methods such as GRPO adapt more conservatively and better preserve prior capabilities. Further analyses reveal that denser self-distillation induces larger drift in both parameter space and response space, and can amplify high-frequency formatting artifacts through a self-reinforcing teacher--student loop. These findings suggest that on-policy data alone is insufficient for continual learning. Dense self-distillation can accelerate specialization when teacher targets are stable and token-level supervision is reliable, but it should not be treated as a default stabilizer for continual post-training. Our code is available at https://github.com/Moenupa/SDPO-CL.