Más denso no es mejor: Límites de la autodestilación on-policy para el post-entrenamiento continuo

Resumen

El post-entrenamiento continuo permite que los modelos fundacionales adquieran nuevos conocimientos mientras preservan las capacidades existentes. Trabajos recientes sugieren que el aprendizaje on-policy puede mitigar el olvido, destacando la autodestilación on-policy como un enfoque particularmente atractivo. En este trabajo, retomamos esta visión optimista mediante la optimización de políticas con autodestilación (SDPO). Nuestros experimentos muestran que SDPO puede acelerar la especialización intra-dominio cuando las señales del profesor son estables y están bien alineadas, pero tiene dificultades para generalizar a escenarios fuera de distribución. En el post-entrenamiento continuo, SDPO exhibe un mayor olvido e incluso puede colapsar, mientras que métodos de aprendizaje por refuerzo on-policy como GRPO se adaptan de manera más conservadora y preservan mejor las capacidades previas. Análisis adicionales revelan que una autodestilación más densa induce mayor deriva tanto en el espacio de parámetros como en el espacio de respuestas, y puede amplificar artefactos de formato de alta frecuencia a través de un bucle profesor-estudiante autorreforzante. Estos hallazgos sugieren que los datos on-policy por sí solos son insuficientes para el aprendizaje continuo. La autodestilación densa puede acelerar la especialización cuando los objetivos del profesor son estables y la supervisión a nivel de token es fiable, pero no debe tratarse como un estabilizador por defecto para el post-entrenamiento continuo. Nuestro código está disponible en https://github.com/Moenupa/SDPO-CL.

English

Continual post-training enables foundation models to acquire new knowledge while preserving existing capabilities. Recent work suggests that on-policy learning can mitigate forgetting, with on-policy self-distillation emerging as a particularly attractive approach. In this work, we revisit this optimistic view through self-distillation policy optimization (SDPO). Our experiments show that SDPO can accelerate in-domain specialization when teacher signals are stable and well aligned, but it struggles to generalize to out-of-distribution scenarios. In continual post-training, SDPO exhibits stronger forgetting and can even collapse, whereas on-policy reinforcement learning methods such as GRPO adapt more conservatively and better preserve prior capabilities. Further analyses reveal that denser self-distillation induces larger drift in both parameter space and response space, and can amplify high-frequency formatting artifacts through a self-reinforcing teacher--student loop. These findings suggest that on-policy data alone is insufficient for continual learning. Dense self-distillation can accelerate specialization when teacher targets are stable and token-level supervision is reliable, but it should not be treated as a default stabilizer for continual post-training. Our code is available at https://github.com/Moenupa/SDPO-CL.