영향 기반 증류: 샘플 토큰 온-폴리시 증류에서의 다양성 병목 해결

초록

샘플링 토큰 온-폴리시 증류(OPD)는 학생이 생성한 토큰을 활용하여 교사에서 학생으로의 능력 이전을 효율적으로 수행하며, 샘플링된 토큰에 대해서만 교사의 확률을 필요로 한다. 그러나 OPD는 다양성 증류 실패를 빈번히 겪는다: 학생의 pass@1은 개선되지만 pass@k는 정체되어 교사의 다양성을 계승하지 못한다. 이를 설명하기 위해 우리는 1차 국소 엔트로피 영향(First-Order Local Entropy Influence)을 도입한다. 이는 각 업데이트의 엔트로피 효과를 교사-학생 로그 확률 격차와 학생의 국소 확률 구조로 분해하는 부호 있는 1차 근사 지표로서, 엔트로피 수축이 음의 영향 위치와 연관됨을 경험적으로 규명한다. 이러한 동기에 기반하여 우리는 영향 지향 적응형 온-폴리시 증류(IDA-OPD)를 제안한다: IDA-OPD는 비용이 많이 드는 전체 어휘 순방향 KL 목적 함수에 의존하는 대신, 엔트로피를 확장하는 업데이트는 보존하면서 엔트로피를 수축시키는 업데이트는 발산 적응형 이점 축소로 대체하며, 교사의 샘플링 토큰 로그 확률만을 사용한다. 추론 중심 증류에 대한 실험은 IDA-OPD가 pass@k를 일관되게 개선하여 증류를 통해 교사의 다양성을 계승하고, 가장 강력한 교사 정보 활용 방법들과 엄격히 더 낮은 비용으로 성능이 일치하며, 전체 어휘 교사 정보 없이도 바닐라 OPD의 pass@1 수준을 대체로 유지함을 보여준다.

English

Sampled-token on-policy distillation (OPD) efficiently transfers capabilities from teacher to student using student-generated tokens, requiring teacher probabilities only for sampled tokens. Yet it frequently suffers from diversity distillation failure: the student's pass@1 improves while its pass@k plateaus, failing to inherit the teacher's diversity. To explain this, we introduce First-Order Local Entropy Influence, a signed first-order proxy that decouples each update's entropy effect into the teacher--student log-probability gap and the student's local probability structure, and empirically links entropy contraction to negative-influence positions. Motivated by this, we propose Influence-Directed Adaptive On-Policy Distillation (IDA-OPD): rather than relying on costly full-vocabulary Forward-KL objectives, it preserves entropy-expanding updates while replacing entropy-contracting ones with divergence-adaptive advantage shrinkage, using only the teacher's sampled-token log-probability. Experiments on reasoning-oriented distillation show IDA-OPD consistently improves pass@k, inheriting the teacher's diversity through distillation, matches the strongest teacher-informed methods at strictly lower cost, and broadly maintains vanilla OPD's pass@1, all without full-vocabulary teacher information.