DOPD : Distillation double sur politique

Résumé

La distillation sur politique (DSP) offre un transfert de capacité supérieur en supervisant les trajectoires échantillonnées par l'étudiant à l'aide de signaux denses au niveau des tokens. Afin de fournir des sources de supervision de haute qualité et d'élever ainsi la frontière de performance de la distillation, une direction intuitive consiste à injecter des informations privilégiées, soit au professeur, soit à l'étudiant lui-même. Cependant, cette entrée supplémentaire induit un mode de défaillance potentiel que nous appelons l'illusion de privilège : un schéma qui confond l'écart de capacité transférable que les étudiants sont censés combler avec l'écart d'asymétrie d'information qui ne peut être qu'imité, jamais reproduit. Ce problème est amplifié par la non-uniformité inhérente de la supervision au niveau des tokens, où seule une petite partie des tokens porte des signaux porteurs de capacités cruciales. À cette fin, nous proposons DOPD, un paradigme de double distillation sensible à l'avantage qui achemine dynamiquement la supervision au niveau des tokens entre les politiques du professeur privilégié et de l'étudiant privilégié, en fonction de leur écart d'avantage et de leurs probabilités relatives. Chaque token reçoit une supervision de force, d'objectif et de stratégie différents, provenant soit du professeur, soit de l'étudiant lui-même, ce qui transfère une capacité crédible tout en recevant simultanément des signaux auxiliaires, atténuant ainsi l'illusion de privilège. Des expériences approfondies, à la fois sur des modèles de langage de grande taille (LLM) et sur des modèles vision-langage (VLM), montrent que DOPD surpasse systématiquement la DSP standard et d'autres approches comparables. Des résultats supplémentaires sur la stabilité, la robustesse, l'apprentissage continu et les tâches hors distribution confirment sa supériorité.

English

On-policy distillation (OPD) offers superior capacity transfer by supervising student-sampled trajectories with dense token-level signals. To furnish high-quality supervision sources and thereby elevate the performance frontier of distillation, an intuitive direction is to infuse privileged information to either teacher or student itself. However, this additional input induces a potential failure mode we dub privilege illusion: a pattern that conflates the transferable capability gap that students are meant to close, and the information asymmetry gap that can only be mimicked but never replicated. This issue is further amplified by the inherent non-uniformity of token-level supervision, where only a small subset of tokens carries pivotal capability-bearing signals. To this end, we propose DOPD, an advantage-aware dual distillation paradigm that dynamically routes token-level supervision between privileged teacher and privileged student policies based on their advantage gap and relative probabilities. Each token receives supervision of different strength, objective, and strategy from either teacher or student itself, which transfers credible capability while simultaneously receiving auxiliary signals, to alleviate privilege illusion. Extensive experiments on both large language model (LLM) and vision-language model (VLM) settings demonstrate that DOPD consistently outperforms Vanilla OPD and other counterparts. Further results on stability, robustness, continual learning, and out-of-distribution tasks validate its superiority.