DOPD: Dual On-Policy Destillation

Zusammenfassung

On-Policy-Destillation (OPD) ermöglicht eine überlegene Fähigkeitsübertragung, indem sie von Schülern abgetastete Trajektorien mit dichten Signalen auf Token-Ebene überwacht. Um qualitativ hochwertige Überwachungsquellen bereitzustellen und damit die Leistungsgrenze der Destillation zu erhöhen, liegt es nahe, privilegierte Informationen entweder dem Lehrer oder dem Schüler selbst zuzuführen. Diese zusätzliche Eingabe führt jedoch zu einem potenziellen Versagensmodus, den wir als Privilegienillusion bezeichnen: ein Muster, das die übertragbare Fähigkeitslücke, die Schüler schließen sollen, mit der Informationsasymmetrielücke vermischt, die nur nachgeahmt, aber nie repliziert werden kann. Dieses Problem wird durch die inhärente Ungleichmäßigkeit der Überwachung auf Token-Ebene noch verstärkt, da nur eine kleine Teilmenge von Token entscheidende fähigkeitstragende Signale enthält. Zu diesem Zweck schlagen wir DOPD vor, ein vorteilsbewusstes duales Destillationsparadigma, das die Überwachung auf Token-Ebene dynamisch zwischen privilegierten Lehrer- und privilegierten Schülerrichtlinien basierend auf ihrer Vorteilslücke und relativen Wahrscheinlichkeiten aufteilt. Jedes Token erhält eine Überwachung unterschiedlicher Stärke, Zielsetzung und Strategie entweder vom Lehrer oder vom Schüler selbst, was glaubwürdige Fähigkeiten überträgt und gleichzeitig Hilfssignale empfängt, um die Privilegienillusion zu mildern. Umfangreiche Experimente sowohl mit großen Sprachmodellen (LLMs) als auch mit Vision-Language-Modellen (VLMs) zeigen, dass DOPD durchgängig besser abschneidet als Vanilla-OPD und andere Vergleichsmethoden. Weitere Ergebnisse zu Stabilität, Robustheit, kontinuierlichem Lernen und Aufgaben außerhalb der Verteilung bestätigen seine Überlegenheit.

English

On-policy distillation (OPD) offers superior capacity transfer by supervising student-sampled trajectories with dense token-level signals. To furnish high-quality supervision sources and thereby elevate the performance frontier of distillation, an intuitive direction is to infuse privileged information to either teacher or student itself. However, this additional input induces a potential failure mode we dub privilege illusion: a pattern that conflates the transferable capability gap that students are meant to close, and the information asymmetry gap that can only be mimicked but never replicated. This issue is further amplified by the inherent non-uniformity of token-level supervision, where only a small subset of tokens carries pivotal capability-bearing signals. To this end, we propose DOPD, an advantage-aware dual distillation paradigm that dynamically routes token-level supervision between privileged teacher and privileged student policies based on their advantage gap and relative probabilities. Each token receives supervision of different strength, objective, and strategy from either teacher or student itself, which transfers credible capability while simultaneously receiving auxiliary signals, to alleviate privilege illusion. Extensive experiments on both large language model (LLM) and vision-language model (VLM) settings demonstrate that DOPD consistently outperforms Vanilla OPD and other counterparts. Further results on stability, robustness, continual learning, and out-of-distribution tasks validate its superiority.