Ontmaskeren van On-Policy Destillatie: Waar het helpt, waar het schaadt, en waarom

Samenvatting

On-policy distillatie biedt dichte, per-token supervisie voor het trainen van redeneermodellen; het blijft echter onduidelijk onder welke omstandigheden dit signaal gunstig is en onder welke het schadelijk is. Welk docentmodel moet worden gebruikt, en in het geval van zelf-distillatie, welke specifieke context moet dienen als het superviserende signaal? Varieert de optimale keuze van token tot token? Momenteel vereisen deze vragen doorgaans kostbare trainingsruns waarvan de geaggregeerde prestatiestatistieken de dynamiek op het niveau van individuele tokens verdoezelen. We introduceren een diagnosekader zonder training dat opereert op de hoogste resolutie: per token, per vraag en per docent. We leiden een ideale per-node gradiënt af, gedefinieerd als de parameterupdate die de kans van de student op succes maximaal vergroot. Vervolgens ontwikkelen we een schaalbaar gericht-rollout algoritme om deze gradiënt efficiënt te schatten, zelfs voor lange ketens van tussentijdse gedachten. De gradiëntovereenkomstscore, gedefinieerd als de cosinusovereenkomst tussen deze ideale gradiënt en een gegeven distillatiegradiënt, kwantificeert de mate waarin een specifieke configuratie het ideale signaal benadert. In een reeks van zelf-distillatie-instellingen en externe docentmodellen observeren we dat distillatiesturing een aanzienlijk hogere overeenkomst met het ideaal vertoont op foute rollouts dan op correcte, waar de student al goed presteert en het signaal van de docent vaak ruis wordt. Bovendien vinden we dat de optimale distillatiecontext afhangt van zowel de capaciteit van het studentmodel als de doel taak, en dat er geen universeel effectieve configuratie naar voren komt. Deze bevindingen motiveren het gebruik van per-taak, per-token diagnostische analyses voor distillatie.

English

On-policy distillation offers dense, per-token supervision for training reasoning models; however, it remains unclear under which conditions this signal is beneficial and under which it is detrimental. Which teacher model should be used, and in the case of self-distillation, which specific context should serve as the supervisory signal? Does the optimal choice vary from one token to the next? At present, addressing these questions typically requires costly training runs whose aggregate performance metrics obscure the dynamics at the level of individual tokens. We introduce a training-free diagnostic framework that operates at the highest resolution: per token, per question, and per teacher. We derive an ideal per-node gradient defined as the parameter update that maximally increases the student's probability of success. We then develop a scalable targeted-rollout algorithm to estimate this gradient efficiently, even for long chains of intermediate thoughts. The gradient alignment score, defined as the cosine similarity between this ideal gradient and any given distillation gradient, quantifies the extent to which a particular configuration approximates the ideal signal. Across a range of self-distillation settings and external teacher models, we observe that distillation guidance exhibits substantially higher alignment with the ideal on incorrect rollouts than on correct ones, where the student already performs well and the teacher's signal tends to become noisy. Furthermore, we find that the optimal distillation context depends jointly on the student model's capacity and the target task, and that no single universally effective configuration emerges. These findings motivate the use of per-task, per-token diagnostic analyses for distillation.