DOPD: Двойная внутриполитическая дистилляция

Аннотация

Дистилляция на политике (On-policy distillation, OPD) обеспечивает превосходную передачу способностей за счёт наблюдения траекторий, сэмплированных студентом, с помощью плотных сигналов на уровне токенов. Для создания высококачественных источников супервизии и, как следствие, повышения верхней границы производительности дистилляции интуитивно понятным направлением является внедрение привилегированной информации либо в учителя, либо в самого студента. Однако такой дополнительный вход приводит к потенциальному режиму сбоя, который мы называем иллюзией привилегий: шаблону, смешивающему передаваемый разрыв в способностях, который студент должен устранить, и разрыв информационной асимметрии, который можно только имитировать, но никогда не воспроизвести. Эта проблема усугубляется inherent неоднородностью супервизии на уровне токенов, где лишь небольшое подмножество токенов несёт ключевые сигналы, связанные со способностями. Для решения этой проблемы мы предлагаем DOPD — дуальную парадигму дистилляции с учётом преимуществ, которая динамически распределяет супервизию на уровне токенов между привилегированной политикой учителя и привилегированной политикой студента на основе их разрыва в преимуществах и относительных вероятностей. Каждый токен получает супервизию различной силы, цели и стратегии либо от учителя, либо от самого студента, что передаёт достоверные способности, одновременно получая вспомогательные сигналы для смягчения иллюзии привилегий. Обширные эксперименты как на больших языковых моделях (LLM), так и на моделях «язык-зрение» (VLM) показывают, что DOPD последовательно превосходит Vanilla OPD и другие аналоги. Дополнительные результаты по стабильности, робастности, continual learning и задачам вне распределения подтверждают её превосходство.

English

On-policy distillation (OPD) offers superior capacity transfer by supervising student-sampled trajectories with dense token-level signals. To furnish high-quality supervision sources and thereby elevate the performance frontier of distillation, an intuitive direction is to infuse privileged information to either teacher or student itself. However, this additional input induces a potential failure mode we dub privilege illusion: a pattern that conflates the transferable capability gap that students are meant to close, and the information asymmetry gap that can only be mimicked but never replicated. This issue is further amplified by the inherent non-uniformity of token-level supervision, where only a small subset of tokens carries pivotal capability-bearing signals. To this end, we propose DOPD, an advantage-aware dual distillation paradigm that dynamically routes token-level supervision between privileged teacher and privileged student policies based on their advantage gap and relative probabilities. Each token receives supervision of different strength, objective, and strategy from either teacher or student itself, which transfers credible capability while simultaneously receiving auxiliary signals, to alleviate privilege illusion. Extensive experiments on both large language model (LLM) and vision-language model (VLM) settings demonstrate that DOPD consistently outperforms Vanilla OPD and other counterparts. Further results on stability, robustness, continual learning, and out-of-distribution tasks validate its superiority.