模倣を超えて：推論の進捗によるオン方策蒸留のフィルタリング

要旨

オン方策蒸留（OPD）は、生徒モデルが生成した軌跡と、教師からの密なトークンレベルの監督を組み合わせることで、言語モデルのポストトレーニングにおける効果的な枠組みとして登場した。しかしOPDは、教師由来の報酬が推論の進展の適切な代理指標であると暗黙に仮定しており、そのため方策最適化の際にすべての教師フィードバックを同等に扱う。実際には、この仮定は常に成り立つわけではない。我々は、教師由来の報酬が真の推論の進展としばしば矛盾することを観察する。明確な推論の進展が見られる推論ステップであっても、教師の出力からの逸脱を理由に、蒸留報酬が低くなる場合があるのである。この不一致に対処するため、我々はオン方策蒸留のための推論進展認識報酬フィルタリング（R2-OPD）を提案する。これは、軌跡内で推論スパンの2つのランキングを構築する。1つは教師由来の報酬に基づくものであり、もう1つは独立に推定された進展報酬に基づくものである。蒸留報酬は、2つのランキングが一致しない場合に選択的に抑制され、推論の進展と矛盾する監督を減らしつつ、効果的な教師の指導を維持する。我々のアプローチは、特に推論性能において、標準OPDと比較して一貫した改善を示す。

English

On-policy distillation (OPD) has emerged as an effective framework for post-training language models by pairing student-generated trajectories with dense token-level supervision from a teacher. However, OPD implicitly assumes that teacher-derived rewards are an appropriate proxy for reasoning progress, and therefore treats all teacher feedback equally during policy optimization. While in practice, this assumption does not always hold. We observe that teacher-derived rewards often conflict with genuine reasoning progress, as reasoning steps with clear reasoning advancement may still receive lower distillation rewards, simply due to deviation from teacher's outputs. To address this mismatch, we propose Reasoning-Progress-Aware Reward Filtering for On-Policy Distillation (R2-OPD), which constructs two within-trajectory rankings of reasoning spans, one from teacher-derived rewards and the other from independently estimated progress reward. Distillation rewards are selectively suppressed whenever the two rankings disagree, reducing supervision that conflicts with reasoning progress while preserving effective teacher guidance. Our approach shows consistent improvement over standard OPD especially regarding reasoning performances.