PACED : Distillation à la frontière des compétences de l'étudiant
PACED: Distillation at the Frontier of Student Competence
March 11, 2026
Auteurs: Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He, Zhipeng Wang
cs.AI
Résumé
La distillation standard des grands modèles de langage gaspille des ressources computationnelles sur deux fronts : les problèmes que l'étudiant maîtrise déjà (gradients proches de zéro) et les problèmes bien au-delà de sa portée (gradients incohérents qui érodent les capacités existantes). Nous montrons que ce gaspillage n'est pas seulement intuitif mais structurellement inévitable : le rapport signal-bruit du gradient en distillation s'annule de manière prouvée aux deux extrêmes du taux de réussite. Cette observation théorique conduit à Paced, un cadre qui concentre la distillation sur la zone de développement proximal – la frontière de compétence d'un modèle étudiant – via un poids de taux de réussite principé w(p) = p^α(1 - p)^β dérivé de la structure d'annulation aux frontières des gradients de distillation. Résultats clés : (1) Théorie : Nous prouvons que le noyau Beta w(p) = p^α(1-p)^β est une famille de poids d'ordre principal découlant de la structure SNR de la distillation, et qu'il est minimax-robuste – sous une mauvaise spécification multiplicative bornée, la perte d'efficacité dans le pire cas n'est que O(δ²). (2) Distillation : Sur la distillation d'un grand modèle enseignant vers un petit modèle étudiant avec la KL forward, Paced obtient un gain significatif par rapport au modèle de base, tout en maintenant un faible niveau d'oubli sur les benchmarks. (3) Auto-distillation : Sur des modèles fine-tunés pour les instructions avec la KL reverse, les gains dépassent également les bases de référence. (4) Synergie à deux étapes : Un calendrier KL forward puis KL reverse produit les résultats les plus solides dans notre cadre, atteignant des améliorations substantielles sur les benchmarks de raisonnement standard – soutenant une interprétation de la distillation comme couverture des modes puis consolidation. Toutes les configurations ne nécessitent que des rollouts de l'étudiant pour estimer les taux de réussite, n'exigent aucune modification architecturale et sont compatibles avec toute direction de KL.
English
Standard LLM distillation wastes compute on two fronts: problems the student has already mastered (near-zero gradients) and problems far beyond its reach (incoherent gradients that erode existing capabilities). We show that this waste is not merely intuitive but structurally inevitable: the gradient signal-to-noise ratio in distillation provably vanishes at both pass-rate extremes. This theoretical observation leads to Paced, a framework that concentrates distillation on the zone of proximal development -- the frontier of a student model's competence -- via a principled pass-rate weight w(p) = p^α(1 - p)^β derived from the boundary-vanishing structure of distillation gradients. Key results: (1) Theory: We prove that the Beta kernel w(p) = p^α(1-p)^β is a leading-order weight family arising from the SNR structure of distillation, and that it is minimax-robust -- under bounded multiplicative misspecification, worst-case efficiency loss is only O(δ^2). (2)Distillation: On distillation from a larger teacher to a smaller student model with forward KL, Paced achieves significant gain over the base model, while keeping benchmark forgetting at a low level. (3)Self-distillation: On instruction-tuned models with reverse KL, gains are exceeding baselines as well. (4)Two-stage synergy: A forward-KL-then-reverse-KL schedule yields the strongest results in our setting, reaching substantial improvements on standard reasoning benchmarks -- supporting a mode-coverage-then-consolidation interpretation of the distillation process. All configurations require only student rollouts to estimate pass rates, need no architectural changes, and are compatible with any KL direction.