RISE: 自己外挿型方策蒸留による再帰的改善

要旨

オン方策蒸留（OPD）は、言語モデルのポストトレーニングにおいて、トークン単位の密な教師信号を提供するが、その有効性は教師の質によって制約される。すなわち、外部教師は分布の不一致を抱え、特権的情報を条件とする自己蒸留は文脈内学習の容量に限られる。本稿では、モデル自身のRLVR訓練軌道から合成教師を直接構築するRISE（自己外挿型方策蒸留による再帰的改善）を提案する。RISEは、現在のチェックポイントと後方のアンカーとの間の変位を、パラメータ空間または出力ロジット空間で外挿することにより、疎な結果ベースのパラメータ更新を、外部モデルや特権的条件付けを一切用いずに、トークンレベルの密なターゲットへ変換する。RISEはRLVRとOPDを相補的なループとして組み合わせる。成果報酬が外挿を正しい推論へと方向づける一方、外挿された教師がトークンレベルの決定を洗練する。さらに、生徒が向上するにつれて教師が毎反復ごとに更新されるため、蒸留は一度きりの圧縮ステップではなく、再帰的な改善メカニズムとなる。数学的推論、多領域STEM、コード生成、およびマルチターンのエージェント型タスクにわたる実験では、RISEがすべての設定でRLVRのみの訓練とオン方策自己蒸留の両方を上回ることが示された。

English

On-policy distillation (OPD) provides dense, per-token supervision for language model post-training, but its effectiveness is bottlenecked by teacher quality: external teachers suffer from distribution mismatch, while self-distillation with privileged conditioning is limited by in-context learning capacity. We propose RISE (Recursive Improvement via Self-Extrapolating Policy Distillation), which constructs a synthetic teacher directly from the model's own RLVR training trajectory. By extrapolating the displacement between the current checkpoint and a trailing anchor---in parameter space or output logit space---RISE converts a sparse outcome-induced parameter update into a dense token-level target, without any external model or privileged conditioning. RISE combines RLVR and OPD in a complementary loop: outcome rewards ground the extrapolation toward correct reasoning, while the extrapolated teacher refines token-level decisions. Moreover, since the teacher is refreshed every iteration as the student improves, distillation becomes a recursive improvement mechanism rather than a one-shot compression step. Experiments spanning mathematical reasoning, multi-domain STEM, code generation, and multi-turn agentic tasks show that RISE outperforms RLVR-only training and on-policy self-distillation across all settings.