Una Revisión de la Destilación On-Policy para Modelos de Lenguaje a Gran Escala
A Survey of On-Policy Distillation for Large Language Models
April 1, 2026
Autores: Mingyang Song, Mao Zheng
cs.AI
Resumen
La destilación de conocimiento se ha convertido en un mecanismo principal para transferir capacidades de razonamiento y experiencia de dominio desde modelos de lenguaje grandes (LLMs) de vanguardia a estudiantes más pequeños y desplegables. Sin embargo, el paradigma dominante sigue siendo *off-policy*: los estudiantes se entrenan con datos estáticos generados por el profesor y nunca se encuentran con sus propios errores durante el aprendizaje. Esta discrepancia entre entrenamiento y prueba, un caso de *exposure bias*, hace que los errores de predicción se compongan de forma autoregresiva en el momento de la inferencia. La Destilación *On-Policy* (OPD, por sus siglas en inglés) aborda este problema permitiendo que el estudiante genere sus propias trayectorias y reciba retroalimentación del profesor sobre estas salidas autogeneradas, fundamentando la destilación en la teoría del aprendizaje por imitación interactivo. A pesar del rápido crecimiento que abarca la minimización de divergencias, el aprendizaje guiado por recompensas y el autojuego, la literatura sobre OPD permanece fragmentada sin un tratamiento unificado. Esta revisión proporciona la primera descripción general integral de la OPD para LLMs. Introducimos un marco unificado de divergencia-f sobre muestras *on-policy* y organizamos el panorama a lo largo de tres dimensiones ortogonales: señal de retroalimentación (basada en *logits*, en resultados o en autojuego), acceso al profesor (*white-box*, *black-box* o sin profesor) y granularidad de la pérdida (a nivel de token, a nivel de secuencia o híbrida). Analizamos sistemáticamente métodos representativos, examinamos despliegues industriales e identificamos problemas abiertos que incluyen las leyes de escalado de la destilación, la retroalimentación consciente de la incertidumbre y la destilación a nivel de agente.
English
Knowledge distillation has become a primary mechanism for transferring reasoning and domain expertise from frontier Large Language Models (LLMs) to smaller, deployable students. However, the dominant paradigm remains off-policy: students train on static teacher-generated data and never encounter their own errors during learning. This train--test mismatch, an instance of exposure bias, causes prediction errors to compound autoregressively at inference time. On-Policy Distillation (OPD) addresses this by letting the student generate its own trajectories and receive teacher feedback on these self-generated outputs, grounding distillation in the theory of interactive imitation learning. Despite rapid growth spanning divergence minimization, reward-guided learning, and self-play, the OPD literature remains fragmented with no unified treatment. This survey provides the first comprehensive overview of OPD for LLMs. We introduce a unified f-divergence framework over on-policy samples and organize the landscape along three orthogonal dimensions: feedback signal (logit-based, outcome-based, or self-play), teacher access (white-box, black-box, or teacher-free), and loss granularity (token-level, sequence-level, or hybrid). We systematically analyze representative methods, examine industrial deployments, and identify open problems including distillation scaling laws, uncertainty-aware feedback, and agent-level distillation.