Entmystifizierung der On-Policy-Destillation: Rollen, Pathologien und Regulationen

Zusammenfassung

On-Policy-Destillation (OPD) hat sich zu einem zentralen Paradigma im LLM-Post-Training entwickelt, dennoch sind ihre Trainingsdynamiken noch wenig verstanden. Wir präsentieren eine systematische Studie, die die Rolle, Pathologien und Regulierungen der OPD untersucht. Zunächst klären wir die Rolle der OPD als Explorationskatalysator: Sie lenkt den Schüler durch dichte Token-Ebene-Führung zu korrekten Lösungspfaden, ohne die Leistungsgrenze zu erweitern. Wir bestätigen dies, indem wir zeigen, dass die Prompt-Vielfalt wichtiger ist als die Anzahl der Stichproben pro Problem, und kritischerweise, dass die Wirksamkeit der OPD vollständig von der Qualität ihres Leitsignals abhängt. Diese Abhängigkeit legt zwei Pathologien offen, die die Exploration entgleisen lassen. Der Student-Teacher-Mismatch tritt auf, wenn ein großer Verteilungsabstand zwischen Lehrer und Schüler dazu führt, dass das Leitsignal nicht mit der Aufgabenkorrektheit übereinstimmt und die Exploration in kontraproduktive Richtungen lenkt. Die Längenausnutzung entsteht, wenn die aggregierte Token-Ebene-Zielgröße längenabhängige Abkürzungen schafft, die es dem Schüler ermöglichen, die Belohnungslandschaft durch Antwortkürzung oder redundante Auffüllung auszuspielen, und dabei entartete Längenmodi anstelle von Lösungsstrategien zu erkunden. Um diese Pathologien zu bändigen, untersuchen wir leichte Signalregulierungen: Advantage-Clipping und Log-Skala-Kompression, die sicherstellen, dass die Exploration durch zuverlässige Signale geleitet wird. Experimente über sieben Benchmarks hinweg zeigen, dass diese Regulierungen die Längenausnutzung abschwächen und eine effektive Destillation ermöglichen, wobei sie OPD-Varianten und RLVR-Baselines stabil übertreffen. Dies bestätigt, dass ein gut reguliertes Leitsignal, nicht bloß die Größe des Lehrers, den Erfolg der Exploration in der OPD bestimmt.

English

On-policy distillation (OPD) has become a key paradigm in LLM post-training, yet its training dynamics remain poorly understood. We present a systematic study examining the role, pathologies, and regulations of OPD. We first clarify the role of OPD as an exploration catalyst: it steers the student toward correct reasoning paths via dense token-level guidance, without expanding capability ceiling. We confirm this by showing that prompt diversity matters more than per-problem sampling numbers, and critically, that the effectiveness of OPD hinges entirely on the quality of its guiding signal. This dependency exposes two pathologies that derail exploration. The Student-Teacher Mismatch occurs when a large teacher-student distributional gap causes the guiding signal to misalign with task correctness, steering exploration in counterproductive directions. Length Exploitation arises when the aggregated token-level objective creates length-dependent shortcuts, allowing the student to game the reward landscape through response truncation or redundant padding, exploring degenerate length modes rather than reasoning strategies. To tame these pathologies, we investigate lightweight signal regulations: advantage clipping and log-scale compression, ensuring exploration is guided by faithful signals. Experiments across seven benchmarks demonstrate that these regulations alleviate length exploitation and enable effective distillation, stably surpassing OPD variants and RLVR baselines, thereby confirming that well-regulated signal quality, rather than mere teacher scale, governs successful exploration in OPD.