Eine Übersicht über On-Policy-Distillation für große Sprachmodelle
A Survey of On-Policy Distillation for Large Language Models
April 1, 2026
Autoren: Mingyang Song, Mao Zheng
cs.AI
Zusammenfassung
Wissensdistillation hat sich zu einem primären Mechanismus entwickelt, um Reasoning-Fähigkeiten und Domänenexpertise von großen Frontier-Sprachmodellen (LLMs) auf kleinere, einsetzbare Studentenmodelle zu übertragen. Das vorherrschende Paradigma bleibt jedoch off-policy: Studenten trainieren auf statischen, vom Lehrer generierten Daten und begegnen ihren eigenen Fehlern während des Lernens nie. Diese Trainings-Test-Diskrepanz, eine Instanz von Exposure Bias, führt dazu, dass sich Vorhersagefehler zur Inferenzzeit autoregessiv aufschaukeln. On-Policy Distillation (OPD) adressiert dies, indem der Student seine eigenen Trajektorien generiert und Lehrer-Feedback auf diese selbstgenerierten Ausgaben erhält, wodurch die Distillation in der Theorie des interaktiven Imitationslernens verankert wird. Trotz rasanten Wachstums, das Divergenzminimierung, belohnungsgeführtes Lernen und Self-Play umspannt, bleibt die OPD-Literatur fragmentiert ohne einheitliche Behandlung. Dieser Survey bietet den ersten umfassenden Überblick über OPD für LLMs. Wir führen einen vereinheitlichten f-Divergenz-Ansatz über On-Policy-Stichproben ein und strukturieren das Feld entlang drei orthogonaler Dimensionen: Feedback-Signal (logit-basiert, ergebnisbasiert oder Self-Play), Lehrer-Zugriff (White-Box, Black-Box oder lehrerfrei) und Verlustgranularität (Token-Level, Sequenz-Level oder hybrid). Wir analysieren systematisch repräsentative Methoden, untersuchen industrielle Anwendungen und identifizieren offene Probleme, einschließlich Skalierungsgesetzen der Distillation, unsicherheitsbewusstem Feedback und Agent-Level-Distillation.
English
Knowledge distillation has become a primary mechanism for transferring reasoning and domain expertise from frontier Large Language Models (LLMs) to smaller, deployable students. However, the dominant paradigm remains off-policy: students train on static teacher-generated data and never encounter their own errors during learning. This train--test mismatch, an instance of exposure bias, causes prediction errors to compound autoregressively at inference time. On-Policy Distillation (OPD) addresses this by letting the student generate its own trajectories and receive teacher feedback on these self-generated outputs, grounding distillation in the theory of interactive imitation learning. Despite rapid growth spanning divergence minimization, reward-guided learning, and self-play, the OPD literature remains fragmented with no unified treatment. This survey provides the first comprehensive overview of OPD for LLMs. We introduce a unified f-divergence framework over on-policy samples and organize the landscape along three orthogonal dimensions: feedback signal (logit-based, outcome-based, or self-play), teacher access (white-box, black-box, or teacher-free), and loss granularity (token-level, sequence-level, or hybrid). We systematically analyze representative methods, examine industrial deployments, and identify open problems including distillation scaling laws, uncertainty-aware feedback, and agent-level distillation.