DAPD: 이중 앵커 기반 정책 증류

초록

온-폴리시(자기) 증류(OPSD)는 언어 모델 사후 학습에 점점 더 많이 채택되고 있다. 이는 교사 모델을 특권 정보로 강화하지만, 특권 착각을 유발할 수 있다. 즉, 학생 모델이 추론 시점의 맥락에서 재현할 수 없는 특권 의존적 행동을 학습하면서도, 훈련 시점의 특권 정보가 여전히 이용 가능한 것처럼 행동하여 궁극적으로 성능을 저하시킨다. 본 논문에서는 OPSD의 이러한 실패의 근본 원인으로 추론 시점에서 특권을 가진 교사와 학생 사이의 정보 비대칭을 규명한다. 이 비대칭을 해결하기 위해, 우리는 두 수준의 앵커링을 갖춘 통합 프레임워크인 이중 앵커 정책 증류(DAPD)를 제안한다. 이중 경로 앵커링(DPA)은 자기 조건화 브리지를 도입하고, 정보가 일치된 두 경로를 따라 참조 및 롤아웃 행동을 정렬하여 특권 의존적 행동이 추론 시점의 학생에게 전이되는 것을 방지한다. 이중 소스 앵커링(DSA)은 이러한 경로를 참조-롤아웃 및 롤아웃-참조 양방향으로 적용하여, 정확성 지도를 유지하면서 특권 참조 안내에 대한 의존도를 줄인다. 광범위한 실험을 통해 DAPD가 특권 착각을 크게 완화하며, Qwen3-4B에서 작업 평균 +2.00포인트로 OPSD를 능가함을 보여준다. 특히, 이러한 개선 효과는 모델 규모에 걸쳐 지속되어 4B에서 +2.69, 32B에서 +2.78에 달한다.

English

On-policy (self) distillation (OPSD) is increasingly adopted for language-model post-training. It strengthens the teacher with privileged information but can induce a privilege illusion: the student learns privilege-dependent behavior it cannot reproduce from its inference-time context, yet behaves as if the training-time privileged information remained available, ultimately degrading performance. In this paper, we identify information asymmetry between the privileged teacher and the student at inference as the root cause of this failure in OPSD. To resolve this asymmetry, we propose Dual-Anchored Policy Distillation (DAPD), a unified framework with two levels of anchoring. Dual-Path Anchoring (DPA) introduces a self-conditioned bridge and aligns reference and rollout behavior along two matched-information paths, preventing privilege-dependent behavior from being transferred to the inference-time student. Dual-Source Anchoring (DSA) applies these paths in both reference-to-rollout and rollout-to-reference directions, reducing reliance on privileged reference guidance while preserving correctness supervision. Extensive experiments show that DAPD significantly alleviates privilege illusion, outperforming OPSD on Qwen3-4B by +2.00 points on average across tasks. Notably, its gains persist across scales, reaching +2.69 at 4B and +2.78 at 32B.