オンポリシー蒸留の解明：役割、病理、および制御

要旨

オンポリシー蒸留（OPD）は、大規模言語モデル（LLM）の事後学習において重要なパラダイムとなっているが、その学習ダイナミクスは未だ十分に理解されていない。本稿では、OPDの役割、病理、および調整法を体系的に検討する。まず、OPDの役割を探索の触媒として明確化する。すなわち、OPDは高密度なトークンレベルのガイダンスを通じて生徒モデルを正しい推論経路へと導くが、能力の上限を拡大するものではない。この点は、問題あたりのサンプリング数よりもプロンプトの多様性の方が重要であること、そしてOPDの有効性がその誘導信号の質に完全に依存することを示すことで確認する。この依存性は、探索を妨げる2つの病理を露呈させる。学生-教師のミスマッチは、教師と生徒の分布に大きな乖離がある場合、誘導信号がタスクの正しさと一致せず、探索を逆効果な方向へ導く現象である。長さの搾取は、集約されたトークンレベルの目的関数が長さに依存した近道を生み出し、生徒が応答の切り詰めや冗長なパディングによって報酬の状況を操作し、推論戦略ではなく劣化した長さモードを探索する現象である。これらの病理を抑制するため、我々は軽量な信号調整法、すなわちアドバンテージクリッピングと対数スケール圧縮を検討し、信頼性のある信号によって探索が導かれるようにする。7つのベンチマークを用いた実験では、これらの調整法が長さの搾取を緩和し、効果的な蒸留を可能にし、OPDの変種やRLVRのベースラインを安定的に上回ることが示された。これにより、OPDにおける探索の成功は、単なる教師モデルの規模ではなく、適切に調整された信号の質に依存するという知見が確認された。

English

On-policy distillation (OPD) has become a key paradigm in LLM post-training, yet its training dynamics remain poorly understood. We present a systematic study examining the role, pathologies, and regulations of OPD. We first clarify the role of OPD as an exploration catalyst: it steers the student toward correct reasoning paths via dense token-level guidance, without expanding capability ceiling. We confirm this by showing that prompt diversity matters more than per-problem sampling numbers, and critically, that the effectiveness of OPD hinges entirely on the quality of its guiding signal. This dependency exposes two pathologies that derail exploration. The Student-Teacher Mismatch occurs when a large teacher-student distributional gap causes the guiding signal to misalign with task correctness, steering exploration in counterproductive directions. Length Exploitation arises when the aggregated token-level objective creates length-dependent shortcuts, allowing the student to game the reward landscape through response truncation or redundant padding, exploring degenerate length modes rather than reasoning strategies. To tame these pathologies, we investigate lightweight signal regulations: advantage clipping and log-scale compression, ensuring exploration is guided by faithful signals. Experiments across seven benchmarks demonstrate that these regulations alleviate length exploitation and enable effective distillation, stably surpassing OPD variants and RLVR baselines, thereby confirming that well-regulated signal quality, rather than mere teacher scale, governs successful exploration in OPD.