Leren vooruitzien: de ontsluitingsefficiëntie van on-policy distillatie onthuld

Samenvatting

On-policy destillatie (OPD) is naar voren gekomen als een efficiënt post-training paradigma voor grote taalmodellen. Bestaande studies schrijven dit voordeel echter grotendeels toe aan dichtere en stabielere supervisie, terwijl de mechanismen op parameterniveau die ten grondslag liggen aan de efficiëntie van OPD nog slecht worden begrepen. In dit werk stellen we dat de efficiëntie van OPD voortkomt uit een vorm van 'vooruitziendheid': het vestigt vroeg in de training een stabiel updatetraject richting het uiteindelijke model. Deze vooruitziendheid uit zich in twee aspecten. Ten eerste, op het niveau van moduletoewijzing, identificeert OPD gebieden met een laag marginaal nut en concentreert het updates op modules die kritischer zijn voor redeneren. Ten tweede, op het niveau van updaterichting, vertoont OPD een sterkere lage-rangconcentratie, waarbij de dominante deelruimten vroeg in de training nauw aansluiten bij de uiteindelijke updateruimte. Voortbouwend op deze bevindingen stellen we EffOPD voor, een plug-and-play versnellingsmethode die OPD versnelt door adaptief een extrapolatiestapgrootte te selecteren en langs de huidige updaterichting te bewegen. EffOPD vereist geen extra trainbare modules of complexe hyperparameterafstelling en behaalt een gemiddelde trainingsversnelling van 3 keer, terwijl de uiteindelijke prestaties vergelijkbaar blijven. Over het geheel genomen bieden onze bevindingen een perspectief op parameterdynamiek voor het begrijpen van de efficiëntie van OPD en praktische inzichten voor het ontwerpen van efficiëntere post-training methoden voor grote taalmodellen.

English

On-policy distillation (OPD) has emerged as an efficient post-training paradigm for large language models. However, existing studies largely attribute this advantage to denser and more stable supervision, while the parameter-level mechanisms underlying OPD's efficiency remain poorly understood. In this work, we argue that OPD's efficiency stems from a form of ``foresight'': it establishes a stable update trajectory toward the final model early in training. This foresight manifests in two aspects. First, at the Module-Allocation Level, OPD identifies regions with low marginal utility and concentrates updates on modules that are more critical to reasoning. Second, at the Update-Direction Level, OPD exhibits stronger low-rank concentration, with its dominant subspaces aligning closely with the final update subspace early in training. Building on these findings, we propose EffOPD, a plug-and-play acceleration method that speeds up OPD by adaptively selecting an extrapolation step size and moving along the current update direction. EffOPD requires no additional trainable modules or complex hyperparameter tuning, and achieves an average training acceleration of 3times while maintaining comparable final performance. Overall, our findings provide a parameter-dynamics perspective for understanding the efficiency of OPD and offer practical insights for designing more efficient post-training methods for large language models.