H^2SD: ハイブリッド後知恵自己蒸留

要旨

検証可能な報酬による強化学習（RLVR）は、数学的推論やコード生成といったタスクにおいて、大規模言語モデルの推論能力を大幅に向上させてきた。しかしながら、ほとんどのRLVR手法は軌跡全体に対してスカラーの結果報酬を割り当てるため、教師信号が疎になり、トークンレベルのクレジット割り当てが限定的となる。オン・ポリシー蒸留（OPD）は、より強力な教師モデルからトークンレベルの分布を蒸留することで密な教師信号を提供するが、追加の教師モデルを必要とし、通常は共有語彙を仮定する。オン・ポリシー自己蒸留（OPSD）は、同一モデルに特権情報を条件付けることで教師方策を構築し、この依存性を除去する。しかしながら、教師分布を直接マッチングすると、情報漏洩や不安定な最適化を引き起こす可能性がある。RLSDは、教師信号を更新規模の調整にのみ用いることで直接的なマッチングを回避するが、サンプリングした推論が失敗した際に明示的な修正方向を提供できない。このトレードオフに対処するため、我々はH²SD（ハイブリッド・ハインドサイト・自己蒸留）を導入する。これは軌跡の正誤に応じて教師の使い方を変える枠組みである。成功軌跡に対しては、教師は正解と確認された生徒の応答と言い換え指示を受け取り、元の応答トークンに対するその確率を、報酬が決定する方向を変えずに更新規模の調整に用いる。失敗軌跡に対しては、教師に重要な推論ステップと検証済み解答を含む参照ヒントを条件付け、生徒から教師への逆KLダイバージェンスを最小化する。複数の困難な推論ベンチマークを用いた実験により、H²SDは代表的なRLVR、OPSD、RLSDのベースラインを一貫して上回り、安定した最適化と良好な生成効率を維持することを示す。

English

Reinforcement learning with verifiable rewards (RLVR) has substantially improved the reasoning capabilities of large language models on tasks such as mathematical reasoning and code generation. However, most RLVR methods assign a scalar outcome reward to an entire trajectory, resulting in sparse supervision and limited token-level credit assignment. On-policy distillation (OPD) provides denser supervision by distilling token-level distributions from a stronger teacher model, but requires an additional teacher and typically assumes a shared vocabulary. On-policy self-distillation (OPSD) removes this dependency by conditioning the same model on privileged information to construct a teacher policy. However, directly matching the teacher distribution may cause information leakage and unstable optimization. RLSD avoids direct matching by using the teacher signal only to modulate update magnitudes, but it cannot provide an explicit correction direction when the sampled reasoning fails. To address this tradeoff, we introduce H^{2}SD, a hybrid hindsight self distillation framework that uses the teacher differently according to trajectory correctness. For successful trajectories, the teacher receives the student response confirmed as correct together with a rephrasing instruction, and its probabilities on the original response tokens are used to modulate update magnitudes without changing the direction determined by the reward. For failed trajectories, we condition the teacher on a reference hint containing key reasoning steps and a verified answer, and minimize the reverse KL divergence from the student to the teacher. Experiments on multiple challenging reasoning benchmarks show that H^2SD consistently outperforms representative RLVR, OPSD, and RLSD baselines while maintaining stable optimization and favorable generation efficiency.