Zur Geometrie der On-Policy-Destillation

Zusammenfassung

On-Policy-Destillation (OPD) wird zunehmend eingesetzt, um das Reasoning großer Sprachmodelle zu verbessern, doch ihre Trainingsdynamik ist noch unzureichend verstanden. Wir charakterisieren den Verlauf von OPD-Updates im Parameterraum und vergleichen ihn mit überwachtem Feintuning (SFT) und bestärkendem Lernen mit überprüfbaren Belohnungen (RLVR). Eine Reihe von Diagnostiken im Parameterraum ordnet OPD durchgängig einem relaxierten, nicht-prinzipiellen Regime zu: Im Vergleich zu SFT beeinflussen seine Updates weniger Gewichte und meiden Hauptrichtungen stärker, während sie im Vergleich zu RLVR weniger stark eingeschränkt bleiben. Über diese statische Lokalisierung hinaus zeigt OPD ein Subspace-Locking: Seine kumulativen Updates treten schnell in einen engen niedrigdimensionalen Kanal ein. Eine Beschränkung des Trainings auf den bereits in der frühen Phase gebildeten Update-Unterraum erhält die OPD-Leistung, verschlechtert jedoch SFT erheblich, was darauf hindeutet, dass der gesperrte Unterraum für OPD funktional ausreichend ist. Kontrollexperimente zeigen zudem, dass eine Ausdünnung der Update-Tokens und eine Verschiebung der Rollout-Generierung ins Off-Policy die Rangdynamik erhalten, während die Vermischung des OPD-Ziels mit RLVR sie verändert. Insgesamt deuten diese Ergebnisse darauf hin, dass OPD nicht nur ein Zwischenpunkt zwischen SFT und RLVR ist, sondern eine eigene Update-Geometrie im Parameterraum induziert.

English

On-policy distillation (OPD) is increasingly used to improve large language model reasoning, but its training dynamics remain poorly understood. We characterize the trajectory of OPD updates in parameter space and compare it with supervised fine-tuning (SFT) and reinforcement learning with verifiable rewards (RLVR). A suite of parameter-space diagnostics consistently places OPD in a relaxed off-principal regime: compared with SFT, its updates affect fewer weights and avoid principal directions more strongly, while compared with RLVR, they remain less tightly constrained. Beyond this static localization, OPD exhibits subspace locking: its cumulative updates rapidly enter a narrow low-dimensional channel. Constraining training to the update subspace formed early in training preserves OPD performance but substantially degrades SFT, indicating that the locked subspace is functionally sufficient for OPD. Control experiments further show that sparsifying the update tokens and shifting rollout generation off-policy preserve the rank dynamics, whereas mixing the OPD objective with RLVR changes them. Overall, these results suggest that OPD is not merely an intermediate point between SFT and RLVR, but induces its own update geometry in parameter space.