失敗箇所で蒸留する：適応的教師ガイダンスによるネガティブRLグループの学習シグナル復元

要旨

検証可能な報酬を用いた強化学習（RLVR）は、大規模言語モデル（LLM）のポストトレーニングにおける標準的なパラダイムとなっている。グループ相対方策最適化（GRPO）は広く採用されているが、報酬信号がスパースであり、グループ内のすべての応答が同一の報酬を受け取る場合には勾配が完全に失われるという問題がある。オンポリシー蒸留（OPD）は、教師モデルからの密なトークンレベルの教師信号を提供することで、自然な解決策となる。しかし、GRPOとOPDを単純に組み合わせると性能が低下する。その根本的な原因は3つある。すなわち、蒸留の恩恵を受けないサンプルが存在すること、教師に適合しすぎることでRLの探索能力が損なわれること、そしてOPDの利点が非対称であり、ほとんどのトークンが抑制されることである。これらの課題に対処するため、我々はRSTG（Adaptive Teacher Guidanceによる学習信号の回復）を提案する。これは、最も重要となる箇所に選択的かつ精密に蒸留を適用する手法である。サンプルレベルでは、OPDは負のゼロ分散プロンプトに限定され、各サンプルは教師の信頼度スコアで重み付けされる。トークンレベルでは、蒸留は学生モデルのエントロピーが高いトークン、または教師と学生の乖離が大きいトークンのみを対象とする。さらに、教師モデルによって生成された正しい軌跡に対するSFTで訓練を拡張し、RLが勾配を生み出さない箇所に正の勾配信号を注入する。実験により、RSTGは単純なGRPO+OPDを数学で+4.02%、コードで+3.05%大幅に上回ることが示された。

English

Reinforcement learning with verifiable rewards (RLVR) has become a standard paradigm for post-training large language models (LLMs). While Group Relative Policy Optimization (GRPO) is widely adopted, it suffers from sparse reward signals and loses gradients entirely when all responses within a group receive identical rewards. On-policy distillation (OPD) offers a natural remedy by providing dense, token-level supervision from a teacher model. However, naively combining GRPO with OPD leads to degraded performance, due to three underlying causes: not all samples benefit from distillation; fitting too quickly to the teacher undermines the exploratory capacity of RL; and OPD's advantages are asymmetric, suppressing most tokens. To address these challenges, we propose RSTG (Recovering Learning Signals via Adaptive Teacher Guidance), which applies distillation selectively and precisely where it matters most. At the sample level, OPD is restricted to negative zero-variance prompts with each sample weighted by the teacher's confidence score. At the token level, distillation targets only tokens with high student entropy or large teacher-student divergence. We further augment training with SFT on correct trajectories generated by the teacher model, injecting positive gradient signals where RL yields none. Experiments demonstrate that RSTG substantially outperforms naive GRPO+OPD by +4.02% on math and +3.05% on code.