SAF-OPD: 온-폴리시 증류를 위한 안정적 어드밴티지 융합

초록

검증 가능한 보상을 사용한 강화 학습(RLVR)은 응답 수준의 단일 보상을 모든 토큰에 동일하게 부여하는 반면, 온-정책 증류(OPD)는 더 강한 교사 모델과 대조하여 각 토큰에 점수를 매겨 조밀한 이점을 제공하지만, 성능이 교사 모델 수준으로 제한되고 그 이상의 탐험을 억제한다. 이러한 상보성 때문에 RLVR과 OPD를 결합하는 것은 유망하지만, 고정 계수로 두 이점을 융합하면 두 가지 보정 오류로 인해 엔트로피 붕괴가 발생함을 확인했다. 첫째는 크기 불일치로, 토큰 수준의 OPD 이점이 제한된 RLVR 이점을 훨씬 초과하여 급증함으로써 RLVR 신호를 소멸시킬 수 있다. 둘째는 시간적 불일치로, 지속적인 최대 강도의 OPD가 학생 모델을 계속 교사 모델 쪽으로 끌어당겨 교사 모델을 능가하는 데 필요한 탐험을 제한한다. 본 논문에서는 OPD 이점에만 적용되는 가벼운 4단계 파이프라인을 통해 두 문제를 모두 해결하는 SAF(Stable Advantage Fusion) 프레임워크를 제안한다. SAF는 크기 제어를 위한 희소화-후-압축 메커니즘과 시간 제어를 위한 워밍업-후-앤닐 메커니즘을 결합하며, 각 단계는 독립적으로 활성화하거나 비활성화할 수 있고 오버헤드가 거의 없다. RLVR을 GRPO로 구현하여 Qwen3-1.7B/4B/8B 모델로 7개의 수학적 추론 및 코드 생성 벤치마크에서 SAF를 평가한 결과, SAF는 엔트로피 붕괴를 피하고 고정 계수 GRPO+OPD 융합보다 일관되게 우수한 성능을 보였으며, 6개의 모델-도메인 설정 전체에서 종합 점수를 0.51-2.70% 개선하면서 더 안정적인 학습을 달성했다.

English

Reinforcement learning with verifiable rewards (RLVR) broadcasts a single response-level reward to every token, while on-policy distillation (OPD) scores each token against a stronger teacher for a dense advantage but caps performance at teacher quality and discourages exploration beyond it. Their complementarity makes combining RLVR and OPD promising, but we find that fusing the two advantages with a fixed coefficient triggers entropy collapse from two miscalibrations: a magnitude mismatch, where token-level OPD advantages can spike far beyond the bounded RLVR advantage and erase its signal, and a temporal mismatch, where sustained full-strength OPD keeps pulling the student toward the teacher and limits exploration needed to surpass it. We propose SAF, a Stable Advantage Fusion framework that resolves both issues via a lightweight, four-stage pipeline applied only to the OPD advantage: a sparsify-then-compress mechanism for magnitude control paired with a warm-up-then-anneal mechanism for temporal control, with each stage independently switchable and adding negligible overhead. Instantiating RLVR with GRPO, we evaluate SAF across seven mathematical reasoning and code generation benchmarks with Qwen3-1.7B/4B/8B: SAF avoids entropy collapse and consistently outperforms fixed-coefficient GRPO+OPD fusion, improving the aggregate score by 0.51-2.70% across all six model-domain settings while achieving more stable training.