ShortOPD: 짧은-긴 온-정책 증류를 통한 프루닝된 LLM 복구

초록

구조적 가지치기는 대규모 언어 모델(LLM)을 압축하는 하드웨어 친화적 방식이지만, 대부분 객관식 인식 과제에서만 검증되었으며, 동일한 압축된 체크포인트는 실제 배포에 요구되는 자유 형식 생성에서는 붕괴될 수 있다. 두 가지 관찰이 이러한 차이를 추적한다. 첫째, 압축 후 탐욕적 pass@1은 거의 사라지지만, 반복 샘플링 하에서 pass@k는 상당히 회복된다. 즉, 유용한 생성이 완전히 삭제되는 것이 아니라 등급이 낮아진다. 둘째, 회복 가능한 영역은 주로 접미사 반복으로 인해 실패한다. 따라서 회복은 밀집된 토큰 수준의 감독을 통해 압축된 모델 자체의 온-정책 상태에서 훈련되어야 하며, 온-정책 증류(OPD)는 압축 전 모델을 고정된 교사 모델로 재사용함으로써 이를 제공한다. 그러나 긴 온-정책 롤아웃은 초기 회복 예산을 정보가 낮은 반복적인 접미사에 소비하여 손실 감소를 지연시킨다. 이러한 낭비를 완화하기 위해, 본 연구는 \shortopd를 제안한다. 이는 단거리에서 장거리로 이어지는 OPD 일정으로, 교사 모델이 확인한 반복적 접미사를 감지하고, 남은 접두사를 각 롤아웃의 유효 길이로 처리하며, 향후 롤아웃 예산을 정책이 현재 사용할 수 있는 유효 길이에 할당한다. 수학, 코드, 개방형 생성 과제 전반에서 \shortopd는 압축된 모델의 점수를 회복되지 않은 값의 약 9배, 표준 회복 기법(SFT(KD 미적용), KD, SeqKD)의 1.6~4.4배로 향상시켰으며, 고정된 8192 토큰 롤아웃 수평선과 두 점 이내의 차이로 일치하면서 훈련 시간의 1/4(8.5시간 대 35.9시간)과 71% 적은 롤아웃 토큰을 사용했다. 본 연구의 방법이 구조적 가지치기를 혼란도 및 객관식 벤치마크에서의 미미한 개선을 넘어, 실제 배포에 준하는 생성 품질에 한 걸음 더 가까이 이끌길 기대한다.

English

Structured pruning is a hardware-friendly way to compress LLMs, but it is mostly validated on multiple-choice recognition tasks, while the same compressed checkpoints can collapse on the free-form generation that deployment actually requires. Two observations trace this gap. First, greedy pass@1 nearly vanishes after compression, yet pass@k recovers substantially under repeated sampling: useful generations are demoted, not erased. Second, the recoverable regime fails mainly through suffix repetition. Recovery should therefore train on the compressed model's own on-policy states with dense token-level supervision, which On-Policy Distillation (OPD) provides by reusing the pre-compression model as a frozen teacher. However, long on-policy rollouts spend early recovery budget on low-information repetitive suffixes, delaying loss descent. To mitigate this waste, we propose \shortopd, a short-to-long OPD schedule that detects teacher-confirmed repetitive suffixes, treats the surviving prefix as each rollout's effective length, and allocates future rollout budgets to the effective lengths the policy can currently use. Across math, code, and open-ended generation, \shortopd\ raises the compressed model's score to about 9times its unrecovered value and 1.6--4.4times standard recovery recipes (SFT w/o KD, KD, and SeqKD), and it matches a fixed 8192-token rollout horizon within two points using a quarter of the training time (8.5 vs.\ 35.9 hours) and 71% fewer rollout tokens. We hope this recipe helps move structured pruning beyond marginal gains on perplexity and multiple-choice benchmarks, a step closer to deployment-ready generation quality.