Aprendiendo a prever: Desvelando la eficiencia de desbloqueo de la destilación en política

Resumen

La destilación on-policy (OPD) ha surgido como un paradigma eficiente de post-entrenamiento para modelos de lenguaje grandes. Sin embargo, los estudios existentes atribuyen en gran medida esta ventaja a una supervisión más densa y estable, mientras que los mecanismos a nivel de parámetros subyacentes a la eficiencia de OPD siguen siendo poco comprendidos. En este trabajo, argumentamos que la eficiencia de OPD proviene de una forma de "previsión": establece una trayectoria de actualización estable hacia el modelo final al inicio del entrenamiento. Esta previsión se manifiesta en dos aspectos. Primero, a nivel de Asignación de Módulos, OPD identifica regiones con baja utilidad marginal y concentra las actualizaciones en módulos que son más críticos para el razonamiento. Segundo, a nivel de Dirección de Actualización, OPD exhibe una concentración de bajo rango más fuerte, con sus subespacios dominantes alineándose estrechamente con el subespacio de actualización final al inicio del entrenamiento. Basándonos en estos hallazgos, proponemos EffOPD, un método de aceleración plug-and-play que acelera OPD seleccionando adaptativamente un tamaño de paso de extrapolación y moviéndose a lo largo de la dirección de actualización actual. EffOPD no requiere módulos entrenables adicionales ni ajuste complejo de hiperparámetros, y logra una aceleración promedio del entrenamiento de 3 veces mientras mantiene un rendimiento final comparable. En general, nuestros hallazgos proporcionan una perspectiva de dinámica de parámetros para comprender la eficiencia de OPD y ofrecen ideas prácticas para diseñar métodos de post-entrenamiento más eficientes para modelos de lenguaje grandes.

English

On-policy distillation (OPD) has emerged as an efficient post-training paradigm for large language models. However, existing studies largely attribute this advantage to denser and more stable supervision, while the parameter-level mechanisms underlying OPD's efficiency remain poorly understood. In this work, we argue that OPD's efficiency stems from a form of ``foresight'': it establishes a stable update trajectory toward the final model early in training. This foresight manifests in two aspects. First, at the Module-Allocation Level, OPD identifies regions with low marginal utility and concentrates updates on modules that are more critical to reasoning. Second, at the Update-Direction Level, OPD exhibits stronger low-rank concentration, with its dominant subspaces aligning closely with the final update subspace early in training. Building on these findings, we propose EffOPD, a plug-and-play acceleration method that speeds up OPD by adaptively selecting an extrapolation step size and moving along the current update direction. EffOPD requires no additional trainable modules or complex hyperparameter tuning, and achieves an average training acceleration of 3times while maintaining comparable final performance. Overall, our findings provide a parameter-dynamics perspective for understanding the efficiency of OPD and offer practical insights for designing more efficient post-training methods for large language models.