Os Muitos Aspectos da Destilação On-Policy: Armadilhas, Mecanismos e Correções

Resumo

A destilação on-policy (OPD) e a autodestilação on-policy (OPSD) surgiram como métodos promissores de pós-treinamento para grandes modelos de linguagem, oferecendo supervisão densa em nível de token sobre trajetórias amostradas a partir da política do próprio modelo. No entanto, os resultados existentes sobre sua eficácia permanecem mistos: enquanto a OP(S)D mostrou potencial na internalização de prompts de sistema e conhecimento, estudos recentes também relatam instabilidade e degradação. Neste trabalho, apresentamos um estudo empírico abrangente sobre quando a OPD e a OPSD funcionam, quando falham e por quê. Descobrimos que a OPD em raciocínio matemático é altamente sensível à escolha do professor e à formulação da perda, enquanto a OPSD falha em nossos cenários testados devido à ausência em tempo de teste de informação privilegiada (PI) específica da instância. Em contraste, a OPSD é eficaz quando a PI representa uma regra latente compartilhada, como um prompt de sistema ou preferência de alinhamento. Identificamos três mecanismos de falha: (1) incompatibilidade de distribuição entre professor e estudante causada pelo condicionamento em prefixos gerados pelo estudante, (2) instabilidade de otimização proveniente de gradientes reverse-KL TopK enviesados, e (3) uma limitação específica da OPSD onde o estudante aprende uma política livre de PI que agrega professores condicionados por PI, o que é insuficiente quando a PI é específica da instância. Mostramos ainda que objetivos TopK com stop-gradient, professores adaptados por RLVR e estudantes estabilizados por SFT mitigam essas falhas.

English

On-policy distillation (OPD) and on-policy self-distillation (OPSD) have emerged as promising post-training methods for large language models, offering dense token-level supervision on trajectories sampled from the model's own policy. However, existing results on their effectiveness remain mixed: while OP(S)D has shown promise in system prompt and knowledge internalization, recent studies also report instability and degradation. In this work, we present a comprehensive empirical study of when OPD and OPSD work, when they fail, and why. We find that OPD on mathematical reasoning is highly sensitive to teacher choice and loss formulation, whereas OPSD fails in our tested settings due to test-time absence of instance-specific privileged information (PI). In contrast, OPSD is effective when PI represents a shared latent rule, such as a system prompt or alignment preference. We identify three failure mechanisms: (1) distribution mismatch between teacher and student caused by conditioning on student-generated prefixes, (2) optimization instability from biased TopK reverse-KL gradients, and (3) an OPSD-specific limitation where the student learns a PI-free policy that aggregates PI-conditioned teachers, which is insufficient when PI is instance-specific. We further show that stop-gradient TopK objectives, RLVR-adapted teachers, and SFT-stabilized students mitigate these failures.