完全教師なしオン方策自己蒸留

要旨

オン方策（自己）蒸留（OPD / OPSD）は、大規模言語モデル（LLM）のポストトレーニングにおいて大きな可能性を示しています。しかし、既存手法は依然として正解信号、環境フィードバック、より大規模なモデルからの指導などの外部監督に大きく依存しており、真の「自己」蒸留には至っていません。本研究では、内部整合性を通じて、モデル自身の生成のみを用いてオン方策自己蒸留を達成できることを示します。我々は、教師なしオン方策自己蒸留（U-OPSD）を提案します。U-OPSDはまず複数のロールアウトをサンプリングし、自己整合性閾値の下での多数決により擬似解を構築します。次に、擬似解にモデルの分布を条件付け、不一致となった生成文に対して自己蒸留を行います。これにより、モデルは自信を持って誤っている箇所を正確に自己修正できます。多様なベンチマーク、ベースモデル、学習設定にわたって、U-OPSDはベースモデルを一貫して上回り、OPSDやGRPOなどの正解（GT）を用いる教師あり手法と同等以上の性能を達成します。5つの数学的推論ベンチマーク（AIME24、AIME25、HMMT25、MATH500、AMC23）において、U-OPSDはQwen3非思考モードの4Bおよび8Bスケールでベースモデルをそれぞれ8.5%と10.7%向上させ、平均でOPSDをそれぞれ3.2%と2.3%上回ります。思考モードでは、U-OPSDはOPSDと同等の性能を維持し、4Bで0.9%上回り、8Bで同等、GRPOをそれぞれ0.7%と1.1%上回ります。コードは [https://github.com/williamium3000/u-opsd](https://github.com/williamium3000/u-opsd) で公開しています。

English

On-policy (Self-)Distillation (OPD / OPSD) has shown strong potential for post-training large language models (LLMs). However, existing methods still rely heavily on external supervision, including ground-truth signals, environmental feedback, or guidance from larger models, and therefore fall short of genuine "self"-distillation. In this study, we show that on-policy self-distillation can be achieved using only a model's own generations via internal consistency. We propose unsupervised on-policy self-distillation (U-OPSD). U-OPSD first samples multiple rollouts and constructs a pseudo solution by majority vote under a self-consistency threshold. It then conditions the model's distribution on the pseudo-solution and distills itself on the disagreeing completions, allowing the model to correct itself precisely where it is confidently wrong. Across diverse benchmarks, base models, and training settings, U-OPSD consistently improves over the base models and matches or surpasses supervised methods with ground truth (GT) such as OPSD and GRPO. On five mathematical reasoning benchmarks, i.e., AIME24, AIME25, HMMT25, MATH500, and AMC23, U-OPSD improves over the base model by 8.5% and 10.7% on Qwen3 non-thinking mode at 4B and 8B scales, and outperforms OPSD by 3.2% and 2.3% on average, respectively. In thinking mode, U-OPSD stays on par with OPSD, ahead by 0.9% at 4B and level at 8B and surpassing GRPO by 0.7% and 1.1%, respectively. Code is available at [https://github.com/williamium3000/u-opsd](https://github.com/williamium3000/u-opsd).