PACED: Destilación en la Frontera de la Competencia Estudiantil
PACED: Distillation at the Frontier of Student Competence
March 11, 2026
Autores: Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He, Zhipeng Wang
cs.AI
Resumen
La destilación estándar de LLM desperdicia capacidad computacional en dos frentes: problemas que el estudiante ya domina (gradientes cercanos a cero) y problemas que están muy por encima de su alcance (gradientes incoherentes que erosionan capacidades existentes). Demostramos que este desperdicio no es solo intuitivo sino estructuralmente inevitable: la relación señal-ruido del gradiente en la destilación se desvanece de manera comprobable en ambos extremos de la tasa de aciertos. Esta observación teórica conduce a Paced, un marco que concentra la destilación en la zona de desarrollo próximo —la frontera de competencia del modelo estudiante— mediante un peso principled w(p) = p^α(1 - p)^β derivado de la estructura de desvanecimiento en los límites de los gradientes de destilación. Resultados clave: (1) Teoría: Probamos que el núcleo Beta w(p) = p^α(1-p)^β es una familia de pesos de primer orden que surge de la estructura de la relación señal-ruido en la destilación, y que es minimax-robusto —bajo una mala especificación multiplicativa acotada, la pérdida de eficiencia en el peor caso es solo O(δ^2). (2) Destilación: En la destilación desde un modelo profesor más grande a un estudiante más pequeño con KL forward, Paced logra una ganancia significativa sobre el modelo base, manteniendo al mismo tiempo un bajo nivel de olvido en los benchmarks. (3) Auto-destilación: En modelos ajustados por instrucción con KL reverse, las ganancias también superan a las líneas base. (4) Sinergia en dos etapas: Un programa de KL forward seguido de KL reverse produce los resultados más sólidos en nuestro entorno, alcanzando mejoras sustanciales en benchmarks de razonamiento estándar —respaldando una interpretación de cobertura de modos y posterior consolidación del proceso de destilación. Todas las configuraciones requieren solo desplegues del estudiante para estimar las tasas de aciertos, no necesitan cambios arquitectónicos y son compatibles con cualquier dirección de la divergencia KL.
English
Standard LLM distillation wastes compute on two fronts: problems the student has already mastered (near-zero gradients) and problems far beyond its reach (incoherent gradients that erode existing capabilities). We show that this waste is not merely intuitive but structurally inevitable: the gradient signal-to-noise ratio in distillation provably vanishes at both pass-rate extremes. This theoretical observation leads to Paced, a framework that concentrates distillation on the zone of proximal development -- the frontier of a student model's competence -- via a principled pass-rate weight w(p) = p^α(1 - p)^β derived from the boundary-vanishing structure of distillation gradients. Key results: (1) Theory: We prove that the Beta kernel w(p) = p^α(1-p)^β is a leading-order weight family arising from the SNR structure of distillation, and that it is minimax-robust -- under bounded multiplicative misspecification, worst-case efficiency loss is only O(δ^2). (2)Distillation: On distillation from a larger teacher to a smaller student model with forward KL, Paced achieves significant gain over the base model, while keeping benchmark forgetting at a low level. (3)Self-distillation: On instruction-tuned models with reverse KL, gains are exceeding baselines as well. (4)Two-stage synergy: A forward-KL-then-reverse-KL schedule yields the strongest results in our setting, reaching substantial improvements on standard reasoning benchmarks -- supporting a mode-coverage-then-consolidation interpretation of the distillation process. All configurations require only student rollouts to estimate pass rates, need no architectural changes, and are compatible with any KL direction.