Exposition adaptative de l'enseignant pour l'auto-distillation dans le raisonnement des LLM

Résumé

L'auto-distillation sur politique est devenue une recette performante pour le raisonnement des LLM, où un enseignant privilégié supervise les propres déroulements de l'élève tout en se conditionnant sur la solution de référence. Cependant, un choix de conception partagé par presque toutes ces méthodes est resté incontesté : l'enseignant voit toujours l'intégralité du raisonnement de référence. Nous soutenons que cette configuration par défaut fait elle-même partie du problème et identifions un décalage d'exposition du côté de l'enseignant : lorsque l'enseignant se conditionne sur un raisonnement bien au-delà des compétences actuelles de l'élève, les cibles de jetons résultantes deviennent trop fortes pour être absorbées. Un balayage contrôlé à exposition fixe rend cela concret sur deux fronts : 1) l'exposition complète n'est pas systématiquement le meilleur choix, et 2) le décalage élève-enseignant croît de manière monotone à mesure que l'enseignant voit davantage de raisonnement privilégié. Cela motive à traiter l'exposition de l'enseignant non comme un hyperparamètre fixe, mais comme une variable de contrôle apprenable en phase d'entraînement. Nous proposons donc l'Exposition Adaptative de l'Enseignant pour l'Auto-Distillation (ATESD). ATESD modélise le ratio de révélation avec un contrôleur de politique bêta léger, conditionné sur des statistiques compactes de l'état d'entraînement, et utilise une exposition échantillonnée pour une courte fenêtre de maintien des mises à jour de l'élève. Pour rendre ce contrôleur d'exposition apprenable, nous l'optimisons avec une récompense d'apprentissage progressif actualisée qui attribue un score à chaque décision maintenue en fonction de son effet sur l'amélioration future de l'élève plutôt que sur son changement immédiat de perte, traitant ainsi l'attribution de crédit différée induite par la distillation sur politique. Les expériences sur AIME 24, AIME 25 et HMMT 25 avec Qwen3-{1.7B, 4B, 8B} montrent qu'ATESD surpasse systématiquement les références concurrentes d'auto-distillation et d'apprentissage par renforcement, améliorant OPSD de +0,95, +2,05 et +2,33 points Average@12 respectivement, et établissant l'exposition adaptative de l'enseignant comme un nouvel axe efficace pour l'auto-distillation du raisonnement.

English

On-policy self-distillation has become a strong recipe for LLM reasoning, where a privileged teacher supervises the student's own rollouts while conditioning on the reference solution. A design choice shared by nearly all such methods, however, has gone unquestioned: the teacher always sees the full reference reasoning. We argue that this default itself is part of the problem and identify a teacher-side exposure mismatch: when the teacher conditions on reasoning far beyond the student's current competence, the resulting token targets become too strong to absorb. A controlled fixed-exposure sweep makes this concrete on two fronts: 1) full exposure is not reliably the best choice, and 2) student-teacher mismatch grows monotonically as the teacher sees more privileged reasoning. This motivates treating teacher exposure not as a fixed hyperparameter but as a learnable training-time control variable. We therefore propose Adaptive Teacher Exposure for Self-Distillation (ATESD). ATESD models the reveal ratio with a lightweight Beta-policy controller conditioned on compact training-state statistics, and uses one sampled exposure for a short hold window of student updates. To make this exposure controller learnable, we optimize it with a discounted learning-progress reward that scores each held decision by its effect on the student's future improvement rather than its immediate loss change, addressing the delayed credit assignment induced by on-policy distillation. Experiments on AIME 24, AIME 25, and HMMT 25 across Qwen3-{1.7B, 4B, 8B} show that ATESD consistently outperforms competitive self-distillation and RL baselines, improving over OPSD by +0.95, +2.05, and +2.33 Average@12 points respectively, and establishing adaptive teacher exposure as an effective new axis for reasoning self-distillation.