DOPD: 이중 온-정책 증류

초록

온-정책 증류(OPD)는 밀집된 토큰 수준 신호로 학생이 샘플링한 궤적을 감독함으로써 우수한 능력 전이를 제공한다. 고품질 감독 원천을 제공하고 이를 통해 증류의 성능 한계를 높이기 위한 직관적인 방향은 교사나 학생 자체에 특권 정보를 주입하는 것이다. 그러나 이러한 추가 입력은 우리가 특권 환상(privilege illusion)이라고 명명하는 잠재적 실패 모드를 유발한다. 이는 학생이 닫아야 할 전이 가능한 능력 격차와 모방만 가능하고 결코 복제할 수 없는 정보 비대칭 격차를 혼동하는 패턴이다. 이 문제는 핵심 능력 전달 신호를 가진 토큰의 작은 부분집합만이 존재하는 토큰 수준 감독의 본질적인 비균일성에 의해 더욱 증폭된다. 이를 위해 우리는 DOPD, 즉 이점 인식 이중 증류 패러다임을 제안한다. 이는 특권 교사와 특권 학생 정책 간의 이점 격차와 상대적 확률에 기반하여 토큰 수준 감독을 동적으로 라우팅한다. 각 토큰은 교사나 학생 자체로부터 서로 다른 강도, 목적, 전략의 감독을 받아, 보조 신호를 동시에 수신하면서 신뢰할 수 있는 능력을 전이하여 특권 환상을 완화한다. 대규모 언어 모델(LLM) 및 시각-언어 모델(VLM) 설정에 대한 광범위한 실험은 DOPD가 바닐라 OPD 및 다른 대응 방법보다 일관되게 우수함을 보여준다. 안정성, 견고성, 지속적 학습, 분포 외 작업에 대한 추가 결과는 그 우월성을 입증한다.

English

On-policy distillation (OPD) offers superior capacity transfer by supervising student-sampled trajectories with dense token-level signals. To furnish high-quality supervision sources and thereby elevate the performance frontier of distillation, an intuitive direction is to infuse privileged information to either teacher or student itself. However, this additional input induces a potential failure mode we dub privilege illusion: a pattern that conflates the transferable capability gap that students are meant to close, and the information asymmetry gap that can only be mimicked but never replicated. This issue is further amplified by the inherent non-uniformity of token-level supervision, where only a small subset of tokens carries pivotal capability-bearing signals. To this end, we propose DOPD, an advantage-aware dual distillation paradigm that dynamically routes token-level supervision between privileged teacher and privileged student policies based on their advantage gap and relative probabilities. Each token receives supervision of different strength, objective, and strategy from either teacher or student itself, which transfers credible capability while simultaneously receiving auxiliary signals, to alleviate privilege illusion. Extensive experiments on both large language model (LLM) and vision-language model (VLM) settings demonstrate that DOPD consistently outperforms Vanilla OPD and other counterparts. Further results on stability, robustness, continual learning, and out-of-distribution tasks validate its superiority.