バトンタッチ：軌道リレー型オンポリシー蒸留

要旨

オン方策蒸留（OPD）は、生徒自身の軌道にトークンレベルの教師信号を基づかせるが、プレフィックス失敗という問題を抱える。すなわち、生徒が誤った推論方向に進むと、それ以降の生成はすべてその逸脱を基盤として構築され、誤った方向の続きを生成して信頼できない教師信号を引き起こし、計算資源を無駄にする。我々は、失敗したプレフィックス上での教師-生徒間の継続非対称性（教師は方向転換しようとする一方、生徒は元の方向を続ける傾向がある）を特定し、これをリレーオン方策蒸留（Relay-OPD）におけるラベル不要のハンドオフトリガーに変換する。訓練中、Relay-OPDは検出されたトリガーポイントで教師が一時的に引き継ぎ、教師区間を生成した後、生徒が再開して得られた軌道上で最適化されることで、リレー軌道を構築する。限られたリレーバジェットにより、介入を重要な初期位置に集中させつつ、生徒方策からの乖離を抑える。Qwen3-4B-Instruct-2507を教師、Qwen3-0.6B/1.7B-Non-Thinkingを生徒とし、8つの数学的推論ベンチマークで評価した結果、Relay-OPDはすべてのベンチマークで最高または2位の結果を達成し、標準的なOPDを平均+5.73%、最強のベースラインFastOPDを+1.49%上回った（1.7Bモデル）。0.6Bモデルでも一貫した改善が見られ、訓練軌道長は50%以上短縮された。

English

On-policy distillation (OPD) grounds token-level supervision in the student's own trajectory, yet suffers from prefix failure: once the student commits to a wrong reasoning direction, all subsequent generation builds on this deviation, producing misdirected continuations that elicit unreliable supervision and waste compute. We identify a teacher-student continuation asymmetry on failed prefixes, where the teacher tends to redirect while the student continues along the original direction, and convert it into a label-free handoff trigger in Relay On-Policy Distillation (Relay-OPD). During training, Relay-OPD constructs relay trajectories by letting the teacher briefly take over at detected trigger points to produce a teacher leg, after which the student resumes and is optimized on the resulting trajectory. A limited relay budget concentrates intervention on critical early positions while limiting departure from the student policy. With a Qwen3-4B-Instruct-2507 teacher and Qwen3-0.6B/1.7B-Non-Thinking students on eight mathematical reasoning benchmarks, Relay-OPD achieves the best or second-best results on every benchmark, outperforming standard OPD by +5.73% and the strongest baseline FastOPD by +1.49% on average for 1.7B, with consistent gains at 0.6B. Training trajectory length is reduced by over 50%.