CADENCE: カバレッジ適応型オン・ポリシー蒸留による推論ギャップの解消

要旨

オン方策知識蒸留は、大規模な教師モデルからコンパクトな学生モデルへ推論を転移するが、既存手法には三つの複合的な失敗モードがある。(i) 冷起動崩壊：新しい学生モデルが教師の好むトークンにほぼゼロの確率を割り当てる。(ii) 状態非依存の発散スケジューリング：時間のみに基づくforward-KL/reverse-KLの補間が学生のカバレッジ状態を無視する。(iii) 二値報酬の疎性：成功/失敗の信号が部分的に正しい軌跡からの情報を捨てる。本稿では、それぞれに対する的を絞った修正を備えた統一フレームワークCADENCEを提案する。そのDRIFT機構は、学生がサンプリングした軌跡上で、トークンごとのforward-KLとreverse-KLの代理目的関数の凸混合をスケジュールする（トークンごとの代理、系列レベルのKL勾配推定器ではない）。六つの構成要素がそれを拡張する。(A) COVA：forward-to-reverse遷移を加速するカバレッジ適応型βスケジュール。(B) FTB：大域的正規化エントロピー参照を用いて高エントロピー位置に勾配を集中させるフォーキングトークンブースト。(C) CCD：誤っているが近い軌跡に対して数値的近接性の部分点を追加する密報酬。(D) LAP：簡潔性優先の正解ロールアウト強化学習。(E) EMR：エントロピーマッチング校正正則化器。(F) BSD：ブートストラップ自己蒸留フェーズ。 GSM8KおよびMATH-500において（修正済み512トークンプロトコル、5シード、標準偏差を報告）、CADENCEは、1.5B教師から0.5B学生への蒸留により、GSM8K pass@1で69.8±0.5%を達成（事前学習時48.7%から向上、教師との差の63.2%を埋める）、3B教師では72.1±0.4%を達成（差の76.2%を埋める）、最も強力な同一計算量のラベル使用ベースライン（DRIFT+二値報酬）を+4.4±0.7ポイント上回る。全実験は単一のApple Mac Studio（Mシリーズ、64GBユニファイドメモリ）で実行されており、原理に基づく蒸留がデータセンター規模のハードウェアなしで強力な推論品質に達することを示している。

English

On-policy knowledge distillation transfers reasoning from large teachers to compact students, but existing approaches suffer three compounding failure modes: (i) cold-start collapse, where a fresh student assigns near-zero mass to teacher-preferred tokens; (ii) state-agnostic divergence scheduling, where time-only forward/reverse-KL interpolation ignores the student's coverage state; and (iii) binary reward sparsity, where pass/fail signals discard information from partially correct traces. We present CADENCE, a unified framework with a targeted fix for each. Its DRIFT mechanism schedules a per-token convex mixture of forward-KL and reverse-KL surrogate objectives on student-sampled trajectories (per-token surrogates, not sequence-level KL gradient estimators). Six components extend it: (A) COVA, a coverage-adaptive β schedule accelerating the forward-to-reverse transition; (B) FTB, a forking-token boost concentrating gradient at high-entropy positions via a globally-normalized entropy reference; (C) CCD, a dense reward adding numerical-proximity partial credit for incorrect-but-close traces; (D) LAP, brevity-preferential correct-rollout reinforcement; (E) EMR, an entropy-matching calibration regularizer; (F) BSD, a bootstrapped self-distillation phase. On GSM8K and MATH-500 (corrected 512-token protocol, 5 seeds, reported std), CADENCE distills a 0.5B student from a 1.5B teacher to 69.8 pm 0.5% GSM8K pass@1 (from 48.7% pretrained; 63.2% of the teacher gap closed) and to 72.1 pm 0.4% with a 3B teacher (76.2% closed), beating the strongest matched-compute label-using baseline (DRIFT+binary reward) by +4.4 pm 0.7 points. All experiments run on a single Apple Mac Studio (M-series, 64GB unified memory), showing principled distillation reaches strong reasoning quality without datacenter-scale hardware.