すべてのコインには二つの面がある：大規模言語モデルのオンポリシー蒸留における一般化の二面性について

要旨

オン方策蒸留（OPD）は，生徒自身の方策からサンプリングされた軌跡を教師信号として用いることで教師の能力を転移する．しかし，その汎化挙動は十分に理解されていない．なぜなら，ほとんどの研究が単一のドメインおよび訓練データに近いベンチマーク上でOPDを評価しているからである．本稿では，ドメイン内の分布シフトからクロスドメイン転移，複数教師設定に至るまで，一度に一つの汎化要因を変化させる制御実験を行う．我々は，OPDが特定の問題に対する教師の解答ではなく，教師の推論行動を転移することを見いだした．すなわち，訓練の難易度はほとんど重要ではなく，教師が解いたことのない問題でさえ有用である．転移は教師と生徒の出自関係に強く依存する．同じ出自のペアでは，言語，推論の長さ，さらには他のドメインにわたって生徒は教師に近づく一方，異なる出自のペアは主に訓練分布に適合する．この広い到達範囲は諸刃の剣である．プロンプトをドメイン専門家にルーティングしても各教師の影響を限定できないため，それらを組み合わせると，その能力間で混合比に依存したシーソー現象が生じる．これらの結果は，OPDがいつ汎化するかを明確にし，複数教師OPDを診断するための有用な視点を提供する．

English

On-policy distillation (OPD) transfers teacher capabilities by supervising trajectories sampled from the student's own policy, yet its generalization behavior remains poorly understood, as most studies evaluate OPD on a single domain and on benchmarks close to the training data. We present a controlled study that varies one generalization factor at a time, from in-domain distribution shifts to cross-domain transfer and the multi-teacher setting. We find that OPD transfers a teacher's reasoning behavior rather than its answers to particular problems: training difficulty barely matters, and even problems the teacher never solves are useful. Transfer depends strongly on the origin relationship between teacher and student: same-origin pairs bring the student close to the teacher across languages, reasoning horizons, and even other domains, whereas cross-origin pairs mostly fit the trained distribution. This broad reach is a double-edged sword: since routing prompts to domain experts cannot confine each teacher's influence, combining them yields a mixture-dependent seesaw among their capabilities. These results clarify when OPD generalizes and offer a useful perspective for diagnosing multi-teacher OPD.