PACED: Destillatie aan de Grens van Studentencompetentie
PACED: Distillation at the Frontier of Student Competence
March 11, 2026
Auteurs: Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He, Zhipeng Wang
cs.AI
Samenvatting
Standaard LLM-distillatie verspilt rekencapaciteit op twee fronten: problemen die de leerling al beheerst (gradiënten nabij nul) en problemen die ver buiten zijn bereik liggen (onsamenhangende gradiënten die bestaande capaciteiten eroderen). Wij tonen aan dat deze verspilling niet slechts intuïtief is, maar structureel onvermijdelijk: de signaal-ruisverhouding van de gradiënt in distillatie verdwijnt aantoonbaar bij beide uitersten van de slagingspercentages. Deze theoretische observatie leidt tot Paced, een raamwerk dat distillatie concentreert op de zone van de naaste ontwikkeling – de grens van de competentie van een leerlingmodel – via een principieel gewogen slagingspercentage w(p) = p^α(1 - p)^β, afgeleid van de verdwijnende-randstructuur van distillatiegradiënten. Belangrijkste resultaten: (1) Theorie: Wij bewijzen dat de Beta-kernel w(p) = p^α(1-p)^β een gewichtenfamilie van de leidende orde is die voortvloeit uit de SNR-structuur van distillatie, en dat deze minimax-robust is – onder begrensde multiplicatieve misspecificatie is het efficiëntieverlies in het ergste geval slechts O(δ^2). (2) Distillatie: Bij distillatie van een grotere leraar naar een kleinere leerling met forward KL, behaalt Paced een significante winst ten opzichte van het basismodel, terwijl benchmark-vergeten op een laag niveau blijft. (3) Zelfdistillatie: Bij instructie-afgestemde modellen met reverse KL, overtreffen de resultaten eveneens de basislijnen. (4) Tweedelige synergie: Een forward-KL-dan-reverse-KL-schema levert de sterkste resultaten op in onze setting, met aanzienlijke verbeteringen op standaard redeneerbenchmarks – wat een interpretatie van het distillatieproces als modusdekking-daarna-consolidatie ondersteunt. Alle configuraties vereisen enkel leerlingrollouts om slagingspercentages te schatten, vergen geen architectuurwijzigingen en zijn compatibel met elke KL-richting.
English
Standard LLM distillation wastes compute on two fronts: problems the student has already mastered (near-zero gradients) and problems far beyond its reach (incoherent gradients that erode existing capabilities). We show that this waste is not merely intuitive but structurally inevitable: the gradient signal-to-noise ratio in distillation provably vanishes at both pass-rate extremes. This theoretical observation leads to Paced, a framework that concentrates distillation on the zone of proximal development -- the frontier of a student model's competence -- via a principled pass-rate weight w(p) = p^α(1 - p)^β derived from the boundary-vanishing structure of distillation gradients. Key results: (1) Theory: We prove that the Beta kernel w(p) = p^α(1-p)^β is a leading-order weight family arising from the SNR structure of distillation, and that it is minimax-robust -- under bounded multiplicative misspecification, worst-case efficiency loss is only O(δ^2). (2)Distillation: On distillation from a larger teacher to a smaller student model with forward KL, Paced achieves significant gain over the base model, while keeping benchmark forgetting at a low level. (3)Self-distillation: On instruction-tuned models with reverse KL, gains are exceeding baselines as well. (4)Two-stage synergy: A forward-KL-then-reverse-KL schedule yields the strongest results in our setting, reaching substantial improvements on standard reasoning benchmarks -- supporting a mode-coverage-then-consolidation interpretation of the distillation process. All configurations require only student rollouts to estimate pass rates, need no architectural changes, and are compatible with any KL direction.