検証可能な報酬を用いたオン方策蒸留

要旨

検証可能な報酬を用いた強化学習（RLVR）とオン方策蒸留（OPD）は、大規模言語モデルの事後学習において広く採用されている2つのパラダイムである。しかし、RLVRはタスクレベルの疎なフィードバックしか得られず、一方OPDは密なトークンレベルのガイダンスを提供するが軌跡の正しさを無視するため、その性能は教師モデルの性能に制限される。これらを組み合わせることは有望な方向性である。OPDは密な教師信号を供給し、RLVRはタスクレベルの正しさを提供する。それにもかかわらず、既存の統合手法はしばしば重み付き組み合わせやヒューリスティックな切り替えに依存しており、追加のハイパーパラメータとトレードオフを導入している。我々は、ハイパーパラメータを一切追加することなくOPDとRLVRをシームレスに組み合わせる、単純でありながら効果的な手法であるOn-policy Distillation with Verifiable Reward（OPDVR）を提案する。まず、サンプリングされたトークンを用いたOPDの暗黙の報酬を軌跡の正しさに基づいて再定式化し、次にReLUゲーティング機構を適用することで、正しい軌跡が非負の報酬を、誤った軌跡が非正の報酬を確実に受け取るようにする。これにより、教師モデルの分布に基づくガイダンスを維持しつつ、蒸留信号をタスク成功と整合させる。さらに、我々の改良により、サンプリングされたトークンを用いたOPDは本格的なRLVR手法へと変換され、GRPOなどの任意の方策勾配アルゴリズムと容易に組み合わせることが可能になる。6つの推論ベンチマークにおける実験では、OPDVRが標準OPDを一貫して上回ることを示す。コードは https://github.com/LeapLabTHU/OPDVR で公開している。

English

Reinforcement Learning with Verifiable Rewards (RLVR) and on-policy distillation (OPD) have become two widely adopted paradigms for post-training large language models. However, RLVR suffers from sparse task-level feedback, while OPD provides dense token-level guidance but ignores trajectory correctness, limiting its performance to that of the teacher. Combining them is a promising direction: OPD supplies dense supervisory signals, while RLVR provides task-level correctness. Nevertheless, existing integrations often rely on weighted combination or heuristic switching, introducing extra hyperparameters and trade-offs. We propose On-policy Distillation with Verifiable Reward (OPDVR), a simple yet effective method that seamlessly combines OPD and RLVR without adding any hyperparameters. We first reformulate the implicit reward of sampled-token OPD based on trajectory correctness, then apply a ReLU gating mechanism to ensure that correct trajectories receive non-negative rewards and incorrect ones receive non-positive rewards---thereby aligning the distillation signal with task success while preserving the teacher's distributional guidance. Furthermore, our modification transforms sampled-token OPD into a proper RLVR method, making it readily combinable with any policy gradient algorithm, such as GRPO. Experiments on six reasoning benchmarks show that OPDVR consistently outperforms standard OPD. Our code is available at https://github.com/LeapLabTHU/OPDVR.