CEPO : Auto-distillation RLVR utilisant l'Optimisation de Politique par Preuve Contrastive

Résumé

Lorsqu’un modèle produit une solution correcte dans le cadre d’un apprentissage par renforcement avec récompenses vérifiables (RLVR), chaque jeton reçoit le même signal de récompense, qu’il s’agisse d’une étape de raisonnement décisive ou d’un élément grammatical de remplissage. Une solution naturelle consiste à conditionner le modèle sur la réponse correcte en tant qu’enseignant, en identifiant les jetons qu’il aurait générés différemment s’il avait connu cette réponse. Des travaux antérieurs montrent que cette approche soit corrompt l’apprentissage en faisant fuiter la réponse dans le gradient, soit produit un signal faible incapable de distinguer les étapes décisives des éléments de remplissage, ces derniers paraissant tout aussi surprenants par rapport à la ligne de base du modèle. Nous proposons l’Optimisation de Politique par Preuve Contrastive (CEPO), qui pose une question plus précise à chaque jeton : non pas seulement « la réponse correcte favorise-t-elle ce jeton ? », mais « la réponse correcte le favorise-t-elle tandis que la réponse incorrecte le défavorise-t-elle ? » Un jeton satisfaisant les deux conditions constitue une véritable étape de raisonnement ; un jeton n’en satisfaisant aucune est un élément de remplissage. L’enseignant basé sur la réponse incorrecte est construit à partir des rollouts rejetés déjà présents dans le lot d’apprentissage, sans coût d’échantillonnage supplémentaire. Nous prouvons que CEPO hérite de toutes les garanties structurelles de sécurité de l’état de l’art antérieur, tout en affinant strictement le crédit attribué aux jetons décisifs, l’amélioration disparaissant exactement aux positions de remplissage. Empiriquement, CEPO atteint une précision moyenne de 43,43 % et 60,56 % sur cinq benchmarks de raisonnement mathématique multimodal aux échelles 2B et 4B respectivement, contre 41,17 % et 57,43 % pour GRPO sous des budgets d’apprentissage identiques. Les méthodes d’auto-distillation par correspondance de distributions (OPSD, SDPO) tombent en dessous de la ligne de base non entraînée, confirmant empiriquement la fuite d’information prédite par notre théorie. Notre code est disponible à l’adresse https://github.com/ahmedheakl/CEPO.

English

When a model produces a correct solution under reinforcement learning with verifiable rewards (RLVR), every token receives the same reward signal regardless of whether it was a decisive reasoning step or a grammatical filler. A natural fix is to condition the model on the correct answer as a teacher, identifying tokens it would have generated differently had it known the answer. Prior work shows this either corrupts training by leaking the answer into the gradient, or produces a weak signal that cannot distinguish decisive steps from filler, since both look equally surprising relative to the model's baseline. We propose Contrastive Evidence Policy Optimization (CEPO), which asks a sharper question at every token: not just "does the correct answer favor this token?" but "does the correct answer favor it while the wrong answer disfavors it?" A token satisfying both is a genuine reasoning step; one satisfying neither is filler. The wrong-answer teacher is constructed from rejected rollouts already in the training batch, incurring no additional sampling cost. We prove CEPO inherits all structural safety guarantees of the prior state of the art while strictly sharpening credit at decisive tokens, with the improvement vanishing exactly at filler positions. Empirically, CEPO achieves 43.43% and 60.56% average accuracy across five multimodal mathematical reasoning benchmarks at 2B and 4B scale, respectively, versus 41.17% and 57.43% for GRPO under identical training budgets. Distribution-matching self-distillation methods (OPSD, SDPO) fall below the untrained baseline, empirically confirming the information leakage our theory predicts. Our code is available at https://github.com/ahmedheakl/CEPO.