온-폴리시 증류는 정말로 증류를 하는가? 노이즈가 있는 교사에서 자기 개선으로

초록

온-폴리시 증류(OPD)는 검증 가능한 보상을 이용한 강화학습(RLVR)의 희소한 결과 수준 이점에 대한 대안으로 밀집된 토큰 수준의 지도를 제공한다. 그러나 교사는 본질적으로 자신에게 오프-폴리시인 학생 생성 궤적을 채점하므로, 교사 지도의 신뢰성과 그에 따른 학생 성능 향상의 원천은 여전히 불분명하다. 우리는 OPD 훈련 중 교사 지도를 정량적으로 분석하여, 교사 규모가 커질수록 더 많이 나타나는 상당한 노이즈를 발견한다. 놀랍게도 학생 정책은 이러한 노이즈에 둔감하여, 노이즈가 포함된 지도를 유지하든 제거하든 유사한 성능으로 수렴한다. OPD는 과연 증류를 하는 것인가? 성능 향상을 이끄는 요인을 분석한 결과, 학습이 낮은 로그 확률을 가진 토큰에 집중되며, 단일 고정 음의 이점을 사용하는 것이 교사가 제공하는 이점과 동등한 성능을 보인다는 것을 발견한다. 이는 OPD가 주로 낮은 로그 확률 토큰을 억제함으로써 작동하며, 이 과정에 교사가 필요하지 않음을 시사한다. 이러한 발견은 엔트로피 적응형 음의 이점을 사용하는 지도-비의존 방법인 온-폴리시 자기 적응(OPSA)의 동기가 된다. OPSA는 높은 엔트로피 위치에 더 강한 학습 신호를 할당하여 꼬리 토큰을 억제하고, 머리 토큰들 사이에 확률 질량을 고르게 재분배한다. 기본 Qwen3-1.7B와 비교하여 OPSA는 AIME24에서 Avg@32를 35.41포인트 개선하며, 이는 263%의 상대적 향상에 해당하고, 세 벤치마크 모두에서 Pass@32를 두 배 이상 증가시킨다. 또한 AIME24의 Avg@32에서 OPD를 16.77포인트 능가한다. 다양한 모델 계열과 과제에 걸친 광범위한 실험과 분석은 OPSA의 효과성과 일반화 가능성을 추가로 입증한다.

English

On-policy distillation (OPD) offers dense token-level supervision as an alternative to the sparse outcome-level advantages of reinforcement learning with verifiable rewards (RLVR). However, the teacher scores student-generated trajectories that are inherently off-policy for it, so the reliability of its supervision, and hence the source of the student's improvement, remains unclear. We quantitatively analyze teacher supervision during OPD training and find substantial noise whose prevalence increases with teacher scale. Surprisingly, the student policy is insensitive to such noise, converging to comparable performance regardless of whether noisy supervision is retained or removed. Does OPD distill at all? By analyzing what drives its gains, we find that learning concentrates on low log-probability tokens, and using a single fixed negative advantage matches the performance of teacher-provided ones. This suggests that OPD works largely by suppressing low log-probability tokens, which requires no teacher. These findings motivate On-Policy Self-Adaptation (OPSA), a supervision-free method using entropy-adaptive negative advantages. It assigns stronger learning signals to high-entropy positions, suppressing tail tokens, and evenly redistributing probability mass among head tokens. Compared with the base Qwen3-1.7B, OPSA improves Avg@32 by 35.41 points on AIME24, corresponding to a 263\% relative gain, and more than doubles Pass@32 across all three benchmarks. It also outperforms OPD by 16.77 points in Avg@32 on AIME24. Extensive experiments and analyses across model families and tasks further demonstrate its effectiveness and generalizability.

온-폴리시 증류는 정말로 증류를 하는가? 노이즈가 있는 교사에서 자기 개선으로

Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement

초록

Support