オンポリシー蒸留は本当に蒸留なのか？ノイズの多い教師から自己改善へ

Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement

August 31, 2026

著者: Yi Ding, Ruqi Zhang

cs.AI

要旨

オンポリシー蒸留（OPD）は、検証可能な報酬を用いた強化学習（RLVR）の疎なアウトカムレベルの利点に代わる、密なトークンレベルの監視を提供する。しかしながら、教師モデルは本質的にオフポリシーとなる生徒生成の軌跡を採点するため、その監視の信頼性、ひいては生徒の改善の源泉は不明なままである。我々はOPD学習中の教師監視を定量的に分析し、教師の規模が大きくなるほどその頻度が増大する実質的なノイズを発見した。驚くべきことに、生徒の方策はこのようなノイズに鈍感であり、ノイズを含む監視を保持するか除去するかに関わらず、同等の性能に収束する。OPDはそもそも蒸留を行っているのだろうか？その利得を生み出す要因を分析すると、学習が低対数確率トークンに集中しており、単一の固定された負のアドバンテージを用いることが、教師が提供するアドバンテージと同等の性能を達成することが分かる。これは、OPDが主に低対数確率トークンの抑制によって機能しており、教師を必要としないことを示唆している。これらの発見は、エントロピー適応型の負のアドバンテージを用いる監視不要の手法であるOn-Policy Self-Adaptation（OPSA）を動機づける。OPSAは高エントロピー位置により強い学習信号を割り当て、テールトークンを抑制し、ヘッドトークン間で確率質量を均等に再分配する。ベースのQwen3-1.7Bと比較して、OPSAはAIME24でAvg@32を35.41ポイント改善し、これは263%の相対的な向上に相当する。また、全3つのベンチマークでPass@32を2倍以上に向上させる。さらに、AIME24のAvg@32においてOPDを16.77ポイント上回る。モデルファミリーやタスクにわたる広範な実験と分析により、その有効性と一般化可能性がさらに実証される。

English

On-policy distillation (OPD) offers dense token-level supervision as an alternative to the sparse outcome-level advantages of reinforcement learning with verifiable rewards (RLVR). However, the teacher scores student-generated trajectories that are inherently off-policy for it, so the reliability of its supervision, and hence the source of the student's improvement, remains unclear. We quantitatively analyze teacher supervision during OPD training and find substantial noise whose prevalence increases with teacher scale. Surprisingly, the student policy is insensitive to such noise, converging to comparable performance regardless of whether noisy supervision is retained or removed. Does OPD distill at all? By analyzing what drives its gains, we find that learning concentrates on low log-probability tokens, and using a single fixed negative advantage matches the performance of teacher-provided ones. This suggests that OPD works largely by suppressing low log-probability tokens, which requires no teacher. These findings motivate On-Policy Self-Adaptation (OPSA), a supervision-free method using entropy-adaptive negative advantages. It assigns stronger learning signals to high-entropy positions, suppressing tail tokens, and evenly redistributing probability mass among head tokens. Compared with the base Qwen3-1.7B, OPSA improves Avg@32 by 35.41 points on AIME24, corresponding to a 263\% relative gain, and more than doubles Pass@32 across all three benchmarks. It also outperforms OPD by 16.77 points in Avg@32 on AIME24. Extensive experiments and analyses across model families and tasks further demonstrate its effectiveness and generalizability.