지도 없이 수행하는 온-폴리시 자기 증류

초록

On-policy (자기) 증류(OPD/OPSD)는 대규모 언어 모델(LLM)의 후속 학습에서 강력한 잠재력을 보여 왔다. 그러나 기존 방법들은 정답(ground-truth) 신호, 환경 피드백, 더 큰 모델의 안내와 같은 외부 지도에 크게 의존하고 있어, 진정한 '자기' 증류에는 미치지 못한다. 본 연구에서는 내적 일관성을 통해 오직 모델 자신의 생성 결과만을 사용하여 on-policy 자기 증류를 달성할 수 있음을 보인다. 우리는 비지도 on-policy 자기 증류(U-OPSD)를 제안한다. U-OPSD는 먼저 여러 롤아웃을 샘플링하고, 자기 일관성 임계값 하에서 다수결 투표를 통해 의사 해답을 구성한다. 그런 다음 의사 해답을 조건으로 모델 분포를 설정하고, 불일치하는 생성 결과에 대해 자기 증류를 수행함으로써, 모델이 확신을 가지고 틀리는 지점을 정확히 스스로 교정할 수 있게 한다. 다양한 벤치마크, 기본 모델, 학습 설정에서 U-OPSD는 기본 모델 대비 일관된 성능 향상을 보이며, 정답(GT)을 사용하는 OPSD 및 GRPO와 같은 지도 학습 방법과 동등하거나 능가한다. 다섯 가지 수학 추론 벤치마크(AIME24, AIME25, HMMT25, MATH500, AMC23)에서 U-OPSD는 Qwen3 non-thinking 모드의 4B 및 8B 규모에서 기본 모델 대비 각각 8.5%와 10.7%의 성능 향상을 보이며, 평균적으로 OPSD를 각각 3.2%와 2.3% 능가한다. Thinking 모드에서는 OPSD와 동등한 수준을 유지하며, 4B에서 0.9% 앞서고 8B에서 동일하며, GRPO를 각각 0.7%와 1.1% 능가한다. 코드는 [https://github.com/williamium3000/u-opsd](https://github.com/williamium3000/u-opsd)에서 확인할 수 있다.

English

On-policy (Self-)Distillation (OPD / OPSD) has shown strong potential for post-training large language models (LLMs). However, existing methods still rely heavily on external supervision, including ground-truth signals, environmental feedback, or guidance from larger models, and therefore fall short of genuine "self"-distillation. In this study, we show that on-policy self-distillation can be achieved using only a model's own generations via internal consistency. We propose unsupervised on-policy self-distillation (U-OPSD). U-OPSD first samples multiple rollouts and constructs a pseudo solution by majority vote under a self-consistency threshold. It then conditions the model's distribution on the pseudo-solution and distills itself on the disagreeing completions, allowing the model to correct itself precisely where it is confidently wrong. Across diverse benchmarks, base models, and training settings, U-OPSD consistently improves over the base models and matches or surpasses supervised methods with ground truth (GT) such as OPSD and GRPO. On five mathematical reasoning benchmarks, i.e., AIME24, AIME25, HMMT25, MATH500, and AMC23, U-OPSD improves over the base model by 8.5% and 10.7% on Qwen3 non-thinking mode at 4B and 8B scales, and outperforms OPSD by 3.2% and 2.3% on average, respectively. In thinking mode, U-OPSD stays on par with OPSD, ahead by 0.9% at 4B and level at 8B and surpassing GRPO by 0.7% and 1.1%, respectively. Code is available at [https://github.com/williamium3000/u-opsd](https://github.com/williamium3000/u-opsd).