CEPO: 対比的証拠方策最適化を用いたRLVR自己蒸留

要旨

検証可能報酬を用いた強化学習（RLVR）のもとでモデルが正しい解を生成した場合、たとえそのトークンが決定的な推論ステップであれ文法的な埋め草であれ、すべてのトークンが同一の報酬信号を受け取る。自然な修正方法として、正解を教師としてモデルに条件付け、正解を知っていた場合に異なる生成がなされたであろうトークンを特定する方法が考えられる。しかし、従来研究では、この方法は勾配に正解を漏洩させることで学習を損なうか、あるいはモデルのベースラインに対する驚きの程度が等しいため、決定的なステップと埋め草とを区別できない弱い信号しか生成しないことが示されている。本稿では、対比的証拠ポリシー最適化（CEPO）を提案する。CEPOは各トークンに対して、単に「正解はこのトークンを支持するか？」ではなく、「正解はこのトークンを支持する一方、誤答はこれを不支持とするか？」というより鋭い問いを立てる。両方の条件を満たすトークンは真の推論ステップであり、どちらも満たさないものは埋め草である。誤答の教師は、学習バッチ内で既に棄却されたロールアウトから構築されるため、追加のサンプリングコストは発生しない。我々は、CEPOが従来の最先端手法の構造的安全性保証をすべて継承しつつ、決定的なトークンにおけるクレジット割り当てを厳密にシャープ化し、その改善効果は埋め草位置で正確に消失することを証明する。実験的には、CEPOは5つのマルチモーダル数学的推論ベンチマークにおいて、2Bスケールで平均精度43.43%、4Bスケールで60.56%を達成し、同一の学習予算のもとでのGRPOの41.17%および57.43%を上回る。分布マッチングに基づく自己蒸留手法（OPSD、SDPO）は未学習のベースラインを下回っており、我々の理論が予測する情報漏洩を実証的に確認している。コードはhttps://github.com/ahmedheakl/CEPOで公開している。

English

When a model produces a correct solution under reinforcement learning with verifiable rewards (RLVR), every token receives the same reward signal regardless of whether it was a decisive reasoning step or a grammatical filler. A natural fix is to condition the model on the correct answer as a teacher, identifying tokens it would have generated differently had it known the answer. Prior work shows this either corrupts training by leaking the answer into the gradient, or produces a weak signal that cannot distinguish decisive steps from filler, since both look equally surprising relative to the model's baseline. We propose Contrastive Evidence Policy Optimization (CEPO), which asks a sharper question at every token: not just "does the correct answer favor this token?" but "does the correct answer favor it while the wrong answer disfavors it?" A token satisfying both is a genuine reasoning step; one satisfying neither is filler. The wrong-answer teacher is constructed from rejected rollouts already in the training batch, incurring no additional sampling cost. We prove CEPO inherits all structural safety guarantees of the prior state of the art while strictly sharpening credit at decisive tokens, with the improvement vanishing exactly at filler positions. Empirically, CEPO achieves 43.43% and 60.56% average accuracy across five multimodal mathematical reasoning benchmarks at 2B and 4B scale, respectively, versus 41.17% and 57.43% for GRPO under identical training budgets. Distribution-matching self-distillation methods (OPSD, SDPO) fall below the untrained baseline, empirically confirming the information leakage our theory predicts. Our code is available at https://github.com/ahmedheakl/CEPO.