De vele gezichten van on-policy distillatie: valkuilen, mechanismen en oplossingen

Samenvatting

On-policy distillatie (OPD) en on-policy zelf-distillatie (OPSD) zijn naar voren gekomen als veelbelovende post-trainingsmethoden voor grote taalmodellen, die dichte supervisie op tokenniveau bieden op trajecten die zijn gesampled uit het eigen beleid van het model. De bestaande resultaten over hun effectiviteit blijven echter gemengd: hoewel OP(S)D veelbelovend is gebleken bij systeemprompt en kennisinternalisatie, rapporteren recente studies ook instabiliteit en degradatie. In dit werk presenteren we een uitgebreide empirische studie van wanneer OPD en OPSD werken, wanneer ze falen, en waarom. We vinden dat OPD bij wiskundig redeneren zeer gevoelig is voor de keuze van de leraar en de verliesformulering, terwijl OPSD faalt in onze geteste omgevingen vanwege de afwezigheid van instantie-specifieke geprivilegieerde informatie (PI) op testtijd. Daarentegen is OPSD effectief wanneer PI een gedeelde latente regel vertegenwoordigt, zoals een systeemprompt of aligneringsvoorkeur. We identificeren drie faalmechanismen: (1) distributie-mismatch tussen leraar en student veroorzaakt door conditionering op student-gegenereerde prefixen, (2) optimalisatie-instabiliteit door vertekende TopK reverse-KL-gradienten, en (3) een OPSD-specifieke beperking waarbij de student een PI-vrij beleid leert dat PI-geconditioneerde leraren aggregeert, hetgeen ontoereikend is wanneer PI instantie-specifiek is. We tonen verder aan dat stop-gradient TopK-doelstellingen, RLVR-aangepaste leraren en SFT-gestabiliseerde studenten deze falen verminderen.

English

On-policy distillation (OPD) and on-policy self-distillation (OPSD) have emerged as promising post-training methods for large language models, offering dense token-level supervision on trajectories sampled from the model's own policy. However, existing results on their effectiveness remain mixed: while OP(S)D has shown promise in system prompt and knowledge internalization, recent studies also report instability and degradation. In this work, we present a comprehensive empirical study of when OPD and OPSD work, when they fail, and why. We find that OPD on mathematical reasoning is highly sensitive to teacher choice and loss formulation, whereas OPSD fails in our tested settings due to test-time absence of instance-specific privileged information (PI). In contrast, OPSD is effective when PI represents a shared latent rule, such as a system prompt or alignment preference. We identify three failure mechanisms: (1) distribution mismatch between teacher and student caused by conditioning on student-generated prefixes, (2) optimization instability from biased TopK reverse-KL gradients, and (3) an OPSD-specific limitation where the student learns a PI-free policy that aggregates PI-conditioned teachers, which is insufficient when PI is instance-specific. We further show that stop-gradient TopK objectives, RLVR-adapted teachers, and SFT-stabilized students mitigate these failures.