DOPD: Destilación dual on-policy

Resumen

La destilación en política (OPD) ofrece una transferencia de capacidad superior al supervisar las trayectorias muestreadas por el estudiante con señales densas a nivel de token. Para proporcionar fuentes de supervisión de alta calidad y así elevar el límite de rendimiento de la destilación, una dirección intuitiva es infundir información privilegiada ya sea al profesor o al propio estudiante. Sin embargo, esta entrada adicional induce un modo de fallo potencial que denominamos ilusión de privilegio: un patrón que confunde la brecha de capacidad transferible que los estudiantes deben cerrar con la brecha de asimetría de información que solo puede imitarse, pero nunca replicarse. Este problema se ve amplificado por la falta de uniformidad inherente de la supervisión a nivel de token, donde solo un pequeño subconjunto de tokens transporta señales clave portadoras de capacidad. Con este fin, proponemos DOPD, un paradigma de destilación dual consciente de la ventaja que enruta dinámicamente la supervisión a nivel de token entre políticas de profesor privilegiado y estudiante privilegiado en función de su brecha de ventaja y probabilidades relativas. Cada token recibe supervisión de diferente intensidad, objetivo y estrategia, ya sea del profesor o del propio estudiante, lo que transfiere capacidad creíble mientras recibe señales auxiliares simultáneamente, para aliviar la ilusión de privilegio. Experimentos exhaustivos tanto en configuraciones de modelos de lenguaje grande (LLM) como de modelos de lenguaje-visión (VLM) demuestran que DOPD supera consistentemente a la OPD estándar y a otras alternativas. Resultados adicionales en estabilidad, robustez, aprendizaje continuo y tareas fuera de distribución validan su superioridad.

English

On-policy distillation (OPD) offers superior capacity transfer by supervising student-sampled trajectories with dense token-level signals. To furnish high-quality supervision sources and thereby elevate the performance frontier of distillation, an intuitive direction is to infuse privileged information to either teacher or student itself. However, this additional input induces a potential failure mode we dub privilege illusion: a pattern that conflates the transferable capability gap that students are meant to close, and the information asymmetry gap that can only be mimicked but never replicated. This issue is further amplified by the inherent non-uniformity of token-level supervision, where only a small subset of tokens carries pivotal capability-bearing signals. To this end, we propose DOPD, an advantage-aware dual distillation paradigm that dynamically routes token-level supervision between privileged teacher and privileged student policies based on their advantage gap and relative probabilities. Each token receives supervision of different strength, objective, and strategy from either teacher or student itself, which transfers credible capability while simultaneously receiving auxiliary signals, to alleviate privilege illusion. Extensive experiments on both large language model (LLM) and vision-language model (VLM) settings demonstrate that DOPD consistently outperforms Vanilla OPD and other counterparts. Further results on stability, robustness, continual learning, and out-of-distribution tasks validate its superiority.