蒸留の前に検証せよ：オン方策蒸留のためのプロンプトレベル教師ゲーティング

要旨

オン方策蒸留（OPD）は、凍結された教師モデルが生徒モデル自身のロールアウトに対してトークンレベルの密な教師信号を提供することで、ポストトレーニングを加速する。バニラOPDは、各プロンプトに対して教師が信頼できるかどうかを確認せずに、この教師信号をプロンプト全体に一様に適用する。逆KLはモード探索的であるため、高い確信度で誤る教師は、強力でありながら誤った方向への更新を引き起こし得る。エントロピーや教師・生徒間の尤度一致などの分布的な代理指標は、不確実性や一致度を測定するものの、結果の正確性を直接検証するわけではない。本稿では、密な教師信号を導入する前に教師の信頼性をプロンプトレベルで検証すべきという原理に基づく、Teacher-Gated On-Policy Distillation（TGOPD）を紹介する。TGOPDは、検証器によってスコアリングされた少数の教師プローブから信頼性を推定し、各プロンプトを、信頼性チェックに合格した場合には密なOPDへ、それ以外の場合には検証器に基づくGRPOへと排他的にルーティングする。数学、コード、指示追従における4Bおよび35Bの生徒モデルを用いた実験では、TGOPDは全6つの単一ドメイン設定でバニラOPDを上回り、マルチドメイン学習では両モデル規模で7つのベンチマークの平均スコアをより高く達成した。またTGOPDは、さもなければアイドル状態となる教師側の計算能力を信頼性推定に利用することで、非同期OPDにおける教師側の計算資源の無駄を削減し、測定した4B単一ドメイン実行では教師ノードのGPU使用率を9.8%から78.9%へ向上させる。

English

On-policy distillation (OPD) accelerates post-training by providing dense token-level supervision from a frozen teacher on the student's own rollouts. Vanilla OPD applies this supervision uniformly across prompts, without checking whether the teacher is reliable for each prompt. Because reverse KL is mode-seeking, a confidently wrong teacher can induce a strong yet misleading update. Distributional proxies, such as entropy or teacher-student likelihood agreement, measure uncertainty or agreement but do not directly verify outcome correctness. We introduce Teacher-Gated On-Policy Distillation (TGOPD), built on the principle that teacher reliability should be verified at the prompt level before dense supervision is admitted. TGOPD estimates reliability from a small set of verifier-scored teacher probes and routes each prompt exclusively to dense OPD when the reliability check passes or to verifier-grounded GRPO otherwise. Across 4B and 35B students in mathematics, code, and instruction following, TGOPD outperforms Vanilla OPD in all six single-domain settings and achieves higher seven-benchmark averages at both scales under multi-domain training. By using otherwise-idle teacher capacity for reliability estimation, TGOPD also reduces teacher-side compute waste in asynchronous OPD, increasing teacher-node GPU utilization from 9.8% to 78.9% in the measured 4B single-domain run.