바통 전달: 궤적 중계 기반 온-폴리시 증류

초록

온-정책 증류(On-policy distillation, OPD)는 학생 자신의 궤적 내에서 토큰 수준의 지도를 제공하지만, 접두사 실패(prefix failure)를 겪는다. 학생이 잘못된 추론 방향으로 빠지면, 이후 모든 생성이 이 편차 위에 구축되어 잘못된 방향의 연속 생성(misdirected continuations)을 만들어내고, 이는 신뢰할 수 없는 지도를 유발하며 계산을 낭비한다. 우리는 실패한 접두사에서 교사-학생 간 연속성 비대칭(teacher-student continuation asymmetry)을 식별했는데, 이는 교사가 방향을 전환하려는 반면 학생은 원래 방향을 계속 유지하는 특성이다. 우리는 이를 릴레이 온-정책 증류(Relay-OPD, Relay On-Policy Distillation)에서 레이블 없는 핸드오프 트리거(label-free handoff trigger)로 변환한다. 훈련 중 Relay-OPD는 감지된 트리거 지점에서 교사가 잠시 인계받아 교사 구간(teacher leg)을 생성함으로써 릴레이 궤적(relay trajectories)을 구성하며, 이후 학생이 다시 생성하고 그 결과 궤적에 대해 최적화된다. 제한된 릴레이 예산(relay budget)은 중요한 초기 위치에 개입(intervention)을 집중시키면서 학생 정책에서의 이탈을 최소화한다. Qwen3-4B-Instruct-2507 교사와 Qwen3-0.6B/1.7B-Non-Thinking 학생을 사용하여 8가지 수학 추론 벤치마크를 실험한 결과, Relay-OPD는 모든 벤치마크에서 최고 또는 두 번째로 높은 성능을 달성했으며, 1.7B 모델의 경우 표준 OPD 대비 평균 +5.73%, 가장 강력한 기준선인 FastOPD 대비 +1.49% 향상되었고, 0.6B 모델에서도 일관된 성능 향상을 보였다. 훈련 궤적 길이는 50% 이상 감소했다.

English

On-policy distillation (OPD) grounds token-level supervision in the student's own trajectory, yet suffers from prefix failure: once the student commits to a wrong reasoning direction, all subsequent generation builds on this deviation, producing misdirected continuations that elicit unreliable supervision and waste compute. We identify a teacher-student continuation asymmetry on failed prefixes, where the teacher tends to redirect while the student continues along the original direction, and convert it into a label-free handoff trigger in Relay On-Policy Distillation (Relay-OPD). During training, Relay-OPD constructs relay trajectories by letting the teacher briefly take over at detected trigger points to produce a teacher leg, after which the student resumes and is optimized on the resulting trajectory. A limited relay budget concentrates intervention on critical early positions while limiting departure from the student policy. With a Qwen3-4B-Instruct-2507 teacher and Qwen3-0.6B/1.7B-Non-Thinking students on eight mathematical reasoning benchmarks, Relay-OPD achieves the best or second-best results on every benchmark, outperforming standard OPD by +5.73% and the strongest baseline FastOPD by +1.49% on average for 1.7B, with consistent gains at 0.6B. Training trajectory length is reduced by over 50%.