ShortOPD: 枝刈り済みLLMの復元のための短系列から長系列へのオン・ポリシー蒸留

要旨

構造的刈り込みは、大規模言語モデル（LLM）を圧縮するためのハードウェアに優しい手法であるが、その有効性は主に多肢選択認識タスクで検証されており、同じ圧縮チェックポイントが実際のデプロイメントで必要とされる自由形式生成では崩壊することがある。この乖離は2つの観察によって説明される。第一に、貪欲法によるpass@1は圧縮後ほぼ消失するが、pass@kは繰り返しサンプリングによって大幅に回復する。すなわち、有用な生成は抹消されるのではなく格下げされるのである。第二に、回復可能な領域は主に接尾辞の繰り返しによって失敗する。したがって回復は、圧縮モデル自身のオン方策状態に対して、密なトークンレベルの教師信号を用いて訓練するべきであり、これをオン方策蒸留（OPD）が提供する。OPDは圧縮前のモデルを凍結された教師として再利用する。しかしながら、長いオン方策ロールアウトは、初期の回復予算を情報量の少ない繰り返し接尾辞に費やし、損失の減少を遅らせる。この無駄を軽減するために、我々はShortOPD（短→長OPDスケジュール）を提案する。これは教師が確認した繰り返し接尾辞を検出し、生き残った接頭辞を各ロールアウトの有効長として扱い、将来のロールアウト予算をポリシーが現在使用可能な有効長に割り振る。数学、コード、自由形式生成の各タスクにおいて、ShortOPDは圧縮モデルのスコアを未回復時の約9倍、標準的な回復手法（SFT w/o KD、KD、SeqKD）の1.6倍から4.4倍に向上させる。また、固定の8192トークンのロールアウト水平線と比較して、2ポイント以内の差で、トレーニング時間を4分の1（8.5時間対35.9時間）に削減し、ロールアウトトークンを71%削減する。本手法が、構造的刈り込みを困惑度や多肢選択ベンチマークにおけるわずかな改善の域を超えて、デプロイメント可能な生成品質へと一歩近づける一助となることを期待する。

English

Structured pruning is a hardware-friendly way to compress LLMs, but it is mostly validated on multiple-choice recognition tasks, while the same compressed checkpoints can collapse on the free-form generation that deployment actually requires. Two observations trace this gap. First, greedy pass@1 nearly vanishes after compression, yet pass@k recovers substantially under repeated sampling: useful generations are demoted, not erased. Second, the recoverable regime fails mainly through suffix repetition. Recovery should therefore train on the compressed model's own on-policy states with dense token-level supervision, which On-Policy Distillation (OPD) provides by reusing the pre-compression model as a frozen teacher. However, long on-policy rollouts spend early recovery budget on low-information repetitive suffixes, delaying loss descent. To mitigate this waste, we propose \shortopd, a short-to-long OPD schedule that detects teacher-confirmed repetitive suffixes, treats the surviving prefix as each rollout's effective length, and allocates future rollout budgets to the effective lengths the policy can currently use. Across math, code, and open-ended generation, \shortopd\ raises the compressed model's score to about 9times its unrecovered value and 1.6--4.4times standard recovery recipes (SFT w/o KD, KD, and SeqKD), and it matches a fixed 8192-token rollout horizon within two points using a quarter of the training time (8.5 vs.\ 35.9 hours) and 71% fewer rollout tokens. We hope this recipe helps move structured pruning beyond marginal gains on perplexity and multiple-choice benchmarks, a step closer to deployment-ready generation quality.