Aprendendo a prever: desvendando a eficiência do desbloqueio da destilação on-policy

Resumo

A destilação on-policy (OPD) emergiu como um paradigma eficiente de pós-treinamento para modelos de linguagem de grande escala. No entanto, estudos existentes atribuem em grande parte essa vantagem a uma supervisão mais densa e estável, enquanto os mecanismos ao nível dos parâmetros subjacentes à eficiência da OPD permanecem pouco compreendidos. Neste trabalho, argumentamos que a eficiência da OPD decorre de uma forma de "previsão": ela estabelece uma trajetória de atualização estável em direção ao modelo final logo no início do treinamento. Essa previsão se manifesta em dois aspectos. Primeiro, no Nível de Alocação de Módulos, a OPD identifica regiões com baixa utilidade marginal e concentra as atualizações em módulos mais críticos para o raciocínio. Segundo, no Nível de Direção de Atualização, a OPD exibe uma concentração de baixo posto mais forte, com seus subespaços dominantes se alinhando estreitamente ao subespaço de atualização final já no início do treinamento. Com base nessas descobertas, propomos o EffOPD, um método de aceleração plug-and-play que acelera a OPD ao selecionar adaptativamente um tamanho de passo de extrapolação e mover-se ao longo da direção de atualização atual. O EffOPD não requer módulos treináveis adicionais ou ajuste complexo de hiperparâmetros, e alcança uma aceleração média de treinamento de 3 vezes, mantendo um desempenho final comparável. No geral, nossos achados fornecem uma perspectiva de dinâmica de parâmetros para compreender a eficiência da OPD e oferecem insights práticos para projetar métodos de pós-treinamento mais eficientes para modelos de linguagem de grande escala.

English

On-policy distillation (OPD) has emerged as an efficient post-training paradigm for large language models. However, existing studies largely attribute this advantage to denser and more stable supervision, while the parameter-level mechanisms underlying OPD's efficiency remain poorly understood. In this work, we argue that OPD's efficiency stems from a form of ``foresight'': it establishes a stable update trajectory toward the final model early in training. This foresight manifests in two aspects. First, at the Module-Allocation Level, OPD identifies regions with low marginal utility and concentrates updates on modules that are more critical to reasoning. Second, at the Update-Direction Level, OPD exhibits stronger low-rank concentration, with its dominant subspaces aligning closely with the final update subspace early in training. Building on these findings, we propose EffOPD, a plug-and-play acceleration method that speeds up OPD by adaptively selecting an extrapolation step size and moving along the current update direction. EffOPD requires no additional trainable modules or complex hyperparameter tuning, and achieves an average training acceleration of 3times while maintaining comparable final performance. Overall, our findings provide a parameter-dynamics perspective for understanding the efficiency of OPD and offer practical insights for designing more efficient post-training methods for large language models.