Adaptieve Leraarblootstelling voor Zelfdestillatie in LLM-redeneren

Samenvatting

On-policy zelfdistillatie is een krachtige methode gebleken voor het redeneren van grote taalmodellen (LLM's), waarbij een bevoorrechte leraar de eigen rollouts van de student begeleidt, geconditioneerd op de referentieoplossing. Een ontwerpkeuze die echter door vrijwel al deze methoden wordt gedeeld, is onbetwist gebleven: de leraar ziet altijd de volledige referentieredenering. Wij stellen dat deze standaardkeuze zelf deel uitmaakt van het probleem en identificeren een blootstellingsmismatch aan de leraarszijde: wanneer de leraar conditioneert op redeneringen die ver buiten de huidige competentie van de student liggen, worden de resulterende token-doelen te sterk om te absorberen. Een gecontroleerde sweep met vaste blootstelling maakt dit concreet op twee fronten: 1) volledige blootstelling is niet betrouwbaar de beste keuze, en 2) de student-leraarmismatch neemt monotoon toe naarmate de leraar meer bevoorrechte redenering ziet. Dit motiveert om lerarenblootstelling niet als een vaste hyperparameter te behandelen, maar als een leerbare controlevariabele tijdens de training. Daarom stellen wij Adaptive Teacher Exposure for Self-Distillation (ATESD) voor. ATESD modelleert de onthullingsratio met een lichte Beta-beleidscontroller, geconditioneerd op compacte trainingsstatistieken, en gebruikt één gesamplede blootstelling voor een korte vasthoudperiode van studentupdates. Om deze blootstellingscontroller leerbaar te maken, optimaliseren we deze met een verdisconteerde leerprogressiebeloning die elke vasthoudbeslissing scoort op basis van het effect op de toekomstige verbetering van de student, in plaats van de onmiddellijke verandering in het verlies, waarmee we de vertraagde credit-toewijzing aanpakken die wordt veroorzaakt door on-policy distillatie. Experimenten op AIME 24, AIME 25 en HMMT 25 met Qwen3-{1.7B, 4B, 8B} tonen aan dat ATESD consequent beter presteert dan competitieve zelfdistillatie- en RL-baselines, met respectievelijk +0,95, +2,05 en +2,33 gemiddelde@12-puntenverbetering ten opzichte van OPSD, en vestigt adaptieve lerarenblootstelling als een effectieve nieuwe as voor redeneerzelfdistillatie.

English

On-policy self-distillation has become a strong recipe for LLM reasoning, where a privileged teacher supervises the student's own rollouts while conditioning on the reference solution. A design choice shared by nearly all such methods, however, has gone unquestioned: the teacher always sees the full reference reasoning. We argue that this default itself is part of the problem and identify a teacher-side exposure mismatch: when the teacher conditions on reasoning far beyond the student's current competence, the resulting token targets become too strong to absorb. A controlled fixed-exposure sweep makes this concrete on two fronts: 1) full exposure is not reliably the best choice, and 2) student-teacher mismatch grows monotonically as the teacher sees more privileged reasoning. This motivates treating teacher exposure not as a fixed hyperparameter but as a learnable training-time control variable. We therefore propose Adaptive Teacher Exposure for Self-Distillation (ATESD). ATESD models the reveal ratio with a lightweight Beta-policy controller conditioned on compact training-state statistics, and uses one sampled exposure for a short hold window of student updates. To make this exposure controller learnable, we optimize it with a discounted learning-progress reward that scores each held decision by its effect on the student's future improvement rather than its immediate loss change, addressing the delayed credit assignment induced by on-policy distillation. Experiments on AIME 24, AIME 25, and HMMT 25 across Qwen3-{1.7B, 4B, 8B} show that ATESD consistently outperforms competitive self-distillation and RL baselines, improving over OPSD by +0.95, +2.05, and +2.33 Average@12 points respectively, and establishing adaptive teacher exposure as an effective new axis for reasoning self-distillation.