CADENCE: 커버리지 적응형 온-정책 증류를 통한 추론 격차 해소

초록

온-정책 지식 증류는 대규모 교사 모델의 추론 능력을 소형 학생 모델로 전이하는 방법이지만, 기존 접근법은 세 가지 복합적 실패 모드에 직면한다: (i) 콜드 스타트 붕괴, 즉 새로운 학생 모델이 교사가 선호하는 토큰에 거의 0에 가까운 확률을 할당하는 현상; (ii) 상태 무관 발산 스케줄링, 즉 시간에 따라서만 전방/역방향 KL 발산을 보간하여 학생의 커버리지 상태를 무시하는 문제; (iii) 이진 보상 희소성, 즉 통과/실패 신호가 부분적으로 정확한 추적에서 정보를 폐기하는 문제. 본 논문에서는 각 문제에 대한 맞춤형 해결책을 제시하는 통합 프레임워크 CADENCE를 제안한다. DRIFT 메커니즘은 학생이 샘플링한 궤적에서 토큰별로 전방 KL과 역방향 KL 대리 목적 함수의 볼록 혼합을 스케줄링한다(시퀀스 수준 KL 기울기 추정기가 아닌 토큰별 대리 함수). 이를 확장하는 여섯 가지 구성 요소는 다음과 같다: (A) COVA, 커버리지 적응형 β 스케줄로 전방에서 역방향으로의 전이를 가속; (B) FTB, 분기 토큰 부스트로 전역 정규화된 엔트로피 기준을 통해 높은 엔트로피 위치에 기울기를 집중; (C) CCD, 밀집 보상으로 부정확하지만 근접한 추적에 수치적 근접성 부분 점수 제공; (D) LAP, 간결성 선호 정답 롤아웃 강화; (E) EMR, 엔트로피 정합 교정 정규화; (F) BSD, 부트스트래핑 자기 증류 단계. GSM8K와 MATH-500에서(수정된 512토큰 프로토콜, 5시드, 표준편차 보고) CADENCE는 1.5B 교사로부터 0.5B 학생을 증류하여 GSM8K pass@1 69.8 ± 0.5%를 달성했다(사전 학습 기준 48.7%; 교사와의 격차 중 63.2% 해소). 3B 교사 사용 시 72.1 ± 0.4%를 기록했으며(76.2% 해소), 가장 강력한 동일 연산량의 레이블 사용 기준선(DRIFT+이진 보상)보다 +4.4 ± 0.7% 포인트 높은 성능을 보였다. 모든 실험은 단일 Apple Mac Studio(M-시리즈, 64GB 통합 메모리)에서 수행되었으며, 원칙에 기반한 증류가 데이터센터 규모의 하드웨어 없이도 강력한 추론 품질에 도달할 수 있음을 보여준다.

English

On-policy knowledge distillation transfers reasoning from large teachers to compact students, but existing approaches suffer three compounding failure modes: (i) cold-start collapse, where a fresh student assigns near-zero mass to teacher-preferred tokens; (ii) state-agnostic divergence scheduling, where time-only forward/reverse-KL interpolation ignores the student's coverage state; and (iii) binary reward sparsity, where pass/fail signals discard information from partially correct traces. We present CADENCE, a unified framework with a targeted fix for each. Its DRIFT mechanism schedules a per-token convex mixture of forward-KL and reverse-KL surrogate objectives on student-sampled trajectories (per-token surrogates, not sequence-level KL gradient estimators). Six components extend it: (A) COVA, a coverage-adaptive β schedule accelerating the forward-to-reverse transition; (B) FTB, a forking-token boost concentrating gradient at high-entropy positions via a globally-normalized entropy reference; (C) CCD, a dense reward adding numerical-proximity partial credit for incorrect-but-close traces; (D) LAP, brevity-preferential correct-rollout reinforcement; (E) EMR, an entropy-matching calibration regularizer; (F) BSD, a bootstrapped self-distillation phase. On GSM8K and MATH-500 (corrected 512-token protocol, 5 seeds, reported std), CADENCE distills a 0.5B student from a 1.5B teacher to 69.8 pm 0.5% GSM8K pass@1 (from 48.7% pretrained; 63.2% of the teacher gap closed) and to 72.1 pm 0.4% with a 3B teacher (76.2% closed), beating the strongest matched-compute label-using baseline (DRIFT+binary reward) by +4.4 pm 0.7 points. All experiments run on a single Apple Mac Studio (M-series, 64GB unified memory), showing principled distillation reaches strong reasoning quality without datacenter-scale hardware.