Обучение предвидению: раскрытие эффективности разблокировки on-policy дистилляции

Аннотация

Он-полиси дистилляция (OPD) зарекомендовала себя как эффективная парадигма постобучения для больших языковых моделей. Однако существующие исследования в значительной степени объясняют это преимущество более плотным и стабильным контролем, в то время как механизмы на уровне параметров, лежащие в основе эффективности OPD, остаются слабо изученными. В данной работе мы утверждаем, что эффективность OPD обусловлена формой «предвидения»: она устанавливает стабильную траекторию обновления в направлении финальной модели на ранних этапах обучения. Это предвидение проявляется в двух аспектах. Во-первых, на уровне распределения модулей OPD идентифицирует области с низкой предельной полезностью и концентрирует обновления на модулях, более критичных для рассуждения. Во-вторых, на уровне направления обновления OPD демонстрирует более сильную концентрацию низкого ранга, при этом её доминирующие подпространства уже на ранних этапах обучения тесно согласуются с финальным подпространством обновлений. Основываясь на этих результатах, мы предлагаем EffOPD — метод ускорения, работающий по принципу «plug-and-play», который ускоряет OPD за счёт адаптивного выбора шага экстраполяции и движения вдоль текущего направления обновления. EffOPD не требует дополнительных обучаемых модулей или сложной настройки гиперпараметров и обеспечивает ускорение обучения в среднем в 3 раза при сохранении сопоставимой итоговой производительности. В целом, наши результаты дают представление об эффективности OPD с точки зрения динамики параметров и предлагают практические рекомендации для разработки более эффективных методов постобучения для больших языковых моделей.

English

On-policy distillation (OPD) has emerged as an efficient post-training paradigm for large language models. However, existing studies largely attribute this advantage to denser and more stable supervision, while the parameter-level mechanisms underlying OPD's efficiency remain poorly understood. In this work, we argue that OPD's efficiency stems from a form of ``foresight'': it establishes a stable update trajectory toward the final model early in training. This foresight manifests in two aspects. First, at the Module-Allocation Level, OPD identifies regions with low marginal utility and concentrates updates on modules that are more critical to reasoning. Second, at the Update-Direction Level, OPD exhibits stronger low-rank concentration, with its dominant subspaces aligning closely with the final update subspace early in training. Building on these findings, we propose EffOPD, a plug-and-play acceleration method that speeds up OPD by adaptively selecting an extrapolation step size and moving along the current update direction. EffOPD requires no additional trainable modules or complex hyperparameter tuning, and achieves an average training acceleration of 3times while maintaining comparable final performance. Overall, our findings provide a parameter-dynamics perspective for understanding the efficiency of OPD and offer practical insights for designing more efficient post-training methods for large language models.