Over de Geometrie van On-Policy Distillatie

Samenvatting

On-policy distillatie (OPD) wordt steeds vaker gebruikt om het redeneren van grote taalmodellen te verbeteren, maar de trainingsdynamiek ervan blijft slecht begrepen. We karakteriseren het traject van OPD-updates in de parameterruimte en vergelijken dit met gesuperviseerde finetuning (SFT) en reinforcement learning met verifieerbare beloningen (RLVR). Een reeks diagnostieken in de parameterruimte plaatst OPD consistent in een ontspannen off-principaal regime: in vergelijking met SFT beïnvloeden de updates minder gewichten en vermijden ze sterker de principale richtingen, terwijl ze in vergelijking met RLVR minder strak beperkt blijven. Voorbij deze statische lokalisatie vertoont OPD subruimtevergrendeling: de cumulatieve updates komen snel in een nauw laagdimensionaal kanaal terecht. Het beperken van de training tot de updatesubruimte die vroeg in de training wordt gevormd, behoudt de OPD-prestaties, maar verslechtert SFT aanzienlijk, wat aangeeft dat de vergrendelde subruimte functioneel voldoende is voor OPD. Controle-experimenten tonen verder aan dat het versparsen van de updatetokens en het verschuiven van de rolloutgeneratie naar off-policy de rangdynamiek behouden, terwijl het mengen van de OPD-doelfunctie met RLVR deze verandert. Over het geheel genomen suggereren deze resultaten dat OPD niet slechts een tussenpunt is tussen SFT en RLVR, maar zijn eigen updatemeetkunde in de parameterruimte induceert.

English

On-policy distillation (OPD) is increasingly used to improve large language model reasoning, but its training dynamics remain poorly understood. We characterize the trajectory of OPD updates in parameter space and compare it with supervised fine-tuning (SFT) and reinforcement learning with verifiable rewards (RLVR). A suite of parameter-space diagnostics consistently places OPD in a relaxed off-principal regime: compared with SFT, its updates affect fewer weights and avoid principal directions more strongly, while compared with RLVR, they remain less tightly constrained. Beyond this static localization, OPD exhibits subspace locking: its cumulative updates rapidly enter a narrow low-dimensional channel. Constraining training to the update subspace formed early in training preserves OPD performance but substantially degrades SFT, indicating that the locked subspace is functionally sufficient for OPD. Control experiments further show that sparsifying the update tokens and shifting rollout generation off-policy preserve the rank dynamics, whereas mixing the OPD objective with RLVR changes them. Overall, these results suggest that OPD is not merely an intermediate point between SFT and RLVR, but induces its own update geometry in parameter space.