Lernen, vorauszusehen: Die Erschließungseffizienz der On-Policy-Destillation aufdecken

Zusammenfassung

On-Policy-Distillation (OPD) hat sich als effizientes Post-Training-Paradigma für große Sprachmodelle etabliert. Bestehende Studien führen diesen Vorteil jedoch größtenteils auf dichtere und stabilere Überwachung zurück, während die Mechanismen auf Parameterebene, die der Effizienz von OPD zugrunde liegen, noch wenig verstanden sind. In dieser Arbeit argumentieren wir, dass die Effizienz von OPD auf einer Form von "Voraussicht" beruht: Sie etabliert früh im Training eine stabile Aktualisierungstrajektorie in Richtung des endgültigen Modells. Diese Voraussicht zeigt sich in zwei Aspekten. Erstens identifiziert OPD auf der Ebene der Modulzuweisung Bereiche mit geringem Grenznutzen und konzentriert Aktualisierungen auf Module, die für das Denken kritischer sind. Zweitens zeigt OPD auf der Ebene der Aktualisierungsrichtung eine stärkere Konzentration niedrigen Ranges, wobei sich seine dominanten Unterräume früh im Training eng an den endgültigen Aktualisierungsunterraum anpassen. Aufbauend auf diesen Erkenntnissen schlagen wir EffOPD vor, eine Plug-and-Play-Beschleunigungsmethode, die OPD beschleunigt, indem sie adaptiv eine Extrapolationsschrittweite auswählt und sich entlang der aktuellen Aktualisierungsrichtung bewegt. EffOPD erfordert keine zusätzlichen trainierbaren Module oder komplexe Hyperparameter-Abstimmung und erreicht eine durchschnittliche Trainingsbeschleunigung von 3×, während eine vergleichbare endgültige Leistung erhalten bleibt. Insgesamt bieten unsere Ergebnisse eine Perspektive der Parameterdynamik zum Verständnis der Effizienz von OPD und liefern praktische Einblicke für die Entwicklung effizienterer Post-Training-Methoden für große Sprachmodelle.

English

On-policy distillation (OPD) has emerged as an efficient post-training paradigm for large language models. However, existing studies largely attribute this advantage to denser and more stable supervision, while the parameter-level mechanisms underlying OPD's efficiency remain poorly understood. In this work, we argue that OPD's efficiency stems from a form of ``foresight'': it establishes a stable update trajectory toward the final model early in training. This foresight manifests in two aspects. First, at the Module-Allocation Level, OPD identifies regions with low marginal utility and concentrates updates on modules that are more critical to reasoning. Second, at the Update-Direction Level, OPD exhibits stronger low-rank concentration, with its dominant subspaces aligning closely with the final update subspace early in training. Building on these findings, we propose EffOPD, a plug-and-play acceleration method that speeds up OPD by adaptively selecting an extrapolation step size and moving along the current update direction. EffOPD requires no additional trainable modules or complex hyperparameter tuning, and achieves an average training acceleration of 3times while maintaining comparable final performance. Overall, our findings provide a parameter-dynamics perspective for understanding the efficiency of OPD and offer practical insights for designing more efficient post-training methods for large language models.