CEPO: RLVR zelfdistillatie met contrastieve evidentie policy optimalisatie

Samenvatting

Wanneer een model een correcte oplossing produceert onder reinforcement learning met verifieerbare beloningen (RLVR), ontvangt elk token hetzelfde beloningssignaal, ongeacht of het een beslissende redeneerstap of een grammaticale opvulling was. Een natuurlijke oplossing is om het model te conditioneren op het juiste antwoord als een leraar, waarbij tokens worden geïdentificeerd die het anders zou hebben gegenereerd als het het antwoord had geweten. Eerder werk laat zien dat dit ofwel de training verstoort door het antwoord in de gradiënt te lekken, ofwel een zwak signaal produceert dat geen onderscheid kan maken tussen beslissende stappen en opvulling, aangezien beide even verrassend lijken ten opzichte van de baseline van het model. Wij stellen Contrastive Evidence Policy Optimization (CEPO) voor, dat bij elk token een scherpere vraag stelt: niet alleen "begunstigt het juiste antwoord dit token?" maar "begunstigt het juiste antwoord het terwijl het foute antwoord het afwijst?" Een token dat aan beide voldoet, is een echte redeneerstap; een token dat aan geen van beide voldoet, is opvulling. De leraar met het foute antwoord wordt geconstrueerd uit afgewezen rollouts die al in de trainingsbatch zitten, zonder extra monsternemingskosten. We bewijzen dat CEPO alle structurele veiligheidsgaranties van de vorige stand van de techniek overneemt, terwijl het de toekenning van krediet bij beslissende tokens strikt verscherpt, waarbij de verbetering precies verdwijnt op opvulposities. Empirisch behaalt CEPO 43,43% en 60,56% gemiddelde nauwkeurigheid over vijf multimodale wiskundige redeneerbenchmarks op respectievelijk 2B- en 4B-schaal, versus 41,17% en 57,43% voor GRPO onder identieke trainingsbudgetten. Distributie-matchende zelfdistillatiemethoden (OPSD, SDPO) blijven onder de ongetrainde baseline, wat empirisch de informatielekkage bevestigt die onze theorie voorspelt. Onze code is beschikbaar op https://github.com/ahmedheakl/CEPO.

English

When a model produces a correct solution under reinforcement learning with verifiable rewards (RLVR), every token receives the same reward signal regardless of whether it was a decisive reasoning step or a grammatical filler. A natural fix is to condition the model on the correct answer as a teacher, identifying tokens it would have generated differently had it known the answer. Prior work shows this either corrupts training by leaking the answer into the gradient, or produces a weak signal that cannot distinguish decisive steps from filler, since both look equally surprising relative to the model's baseline. We propose Contrastive Evidence Policy Optimization (CEPO), which asks a sharper question at every token: not just "does the correct answer favor this token?" but "does the correct answer favor it while the wrong answer disfavors it?" A token satisfying both is a genuine reasoning step; one satisfying neither is filler. The wrong-answer teacher is constructed from rejected rollouts already in the training batch, incurring no additional sampling cost. We prove CEPO inherits all structural safety guarantees of the prior state of the art while strictly sharpening credit at decisive tokens, with the improvement vanishing exactly at filler positions. Empirically, CEPO achieves 43.43% and 60.56% average accuracy across five multimodal mathematical reasoning benchmarks at 2B and 4B scale, respectively, versus 41.17% and 57.43% for GRPO under identical training budgets. Distribution-matching self-distillation methods (OPSD, SDPO) fall below the untrained baseline, empirically confirming the information leakage our theory predicts. Our code is available at https://github.com/ahmedheakl/CEPO.