影響指向蒸留：サンプリングトークンを用いたオン方策蒸留における多様性ボトルネックの解決

要旨

サンプリングされたトークンに基づくオンポリシー蒸留（OPD）は，生徒自身が生成したトークンを用いて教師から生徒への能力転移を効率的に行い，サンプリングされたトークンに対する教師確率のみを必要とする。しかしこの手法は，多様性蒸留の失敗にしばしば陥る。すなわち，生徒のpass@1は改善する一方でpass@kが頭打ちとなり，教師の多様性を継承できない。この現象を説明するため，我々は一次局所エントロピー影響（First-Order Local Entropy Influence）を導入する。これは符号付きの一次代理指標であり，各更新がエントロピーへ及ぼす効果を，教師と生徒の対数確率ギャップおよび生徒の局所確率構造に分解し，エントロピー収縮と負の影響位置との関連を経験的に示す。この知見に基づき，我々は影響指向適応オンポリシー蒸留（Influence-Directed Adaptive On-Policy Distillation，IDA-OPD）を提案する。IDA-OPDは，教師のサンプリングされたトークンの対数確率のみを用いて，高コストな全語彙Forward-KL目的関数に頼ることなく，エントロピーを拡大する更新を維持しつつ，エントロピーを収縮させる更新をダイバージェンス適応型のアドバンテージ縮小へと置き換える。推論タスク向け蒸留における実験により，IDA-OPDは，全語彙の教師情報を一切用いずに，pass@kを一貫して改善して蒸留を通じて教師の多様性を継承し，最も強力な教師情報利用手法より厳密に低いコストで同等の性能を達成し，さらにバニラOPDのpass@1も概ね維持することが示された。

English

Sampled-token on-policy distillation (OPD) efficiently transfers capabilities from teacher to student using student-generated tokens, requiring teacher probabilities only for sampled tokens. Yet it frequently suffers from diversity distillation failure: the student's pass@1 improves while its pass@k plateaus, failing to inherit the teacher's diversity. To explain this, we introduce First-Order Local Entropy Influence, a signed first-order proxy that decouples each update's entropy effect into the teacher--student log-probability gap and the student's local probability structure, and empirically links entropy contraction to negative-influence positions. Motivated by this, we propose Influence-Directed Adaptive On-Policy Distillation (IDA-OPD): rather than relying on costly full-vocabulary Forward-KL objectives, it preserves entropy-expanding updates while replacing entropy-contracting ones with divergence-adaptive advantage shrinkage, using only the teacher's sampled-token log-probability. Experiments on reasoning-oriented distillation show IDA-OPD consistently improves pass@k, inheriting the teacher's diversity through distillation, matches the strongest teacher-informed methods at strictly lower cost, and broadly maintains vanilla OPD's pass@1, all without full-vocabulary teacher information.