CLIPO : L'apprentissage contrastif dans l'optimisation de politiques généralise RLVR
CLIPO: Contrastive Learning in Policy Optimization Generalizes RLVR
March 10, 2026
Auteurs: Sijia Cui, Pengyu Cheng, Jiajun Song, Yongbo Gai, Guojun Zhang, Zhechao Yu, Jianhe Lin, Xiaoxi Jiang, Guanjun Jiang
cs.AI
Résumé
Le Renforcement de l'Apprentissage avec Récompenses Vérifiables (RLVR) a considérablement amélioré la capacité de raisonnement des Grands Modèles de Langage (LLM). Cependant, le RLVR s'appuie uniquement sur les réponses finales comme récompenses de résultat, négligeant la justesse des étapes de raisonnement intermédiaires. L'entraînement sur ces séquences où le processus est erroné mais le résultat correct peut entraîner des hallucinations et du copiage de réponses, compromettant gravement la généralisation et la robustesse du modèle. Pour résoudre ce problème, nous intégrons un mécanisme d'Apprentissage Contrastif dans l'Optimisation de Politique (CLIPO) pour généraliser le processus RLVR. En optimisant une perte contrastive sur les séquences réussies, CLIPO guide le LLM pour capturer la structure invariante partagée par tous les chemins de raisonnement corrects. Cela fournit une régularisation inter-trajectoires plus robuste que la supervision à chemin unique originale du RLVR, atténuant efficacement les incohérences de raisonnement au niveau des étapes et supprimant les artefacts hallucinatoires. Lors des expériences, CLIPO améliore constamment plusieurs modèles de référence RLVR sur divers benchmarks de raisonnement, démontrant des améliorations uniformes en généralisation et en robustesse pour l'optimisation de politique des LLM. Notre code et nos protocoles d'entraînement sont disponibles à l'adresse https://github.com/Qwen-Applications/CLIPO.
English
Reinforcement Learning with Verifiable Rewards (RLVR) has significantly advanced the reasoning capacity of Large Language Models (LLMs). However, RLVR solely relies on final answers as outcome rewards, neglecting the correctness of intermediate reasoning steps. Training on these process-wrong but outcome-correct rollouts can lead to hallucination and answer-copying, severely undermining the model's generalization and robustness. To address this, we incorporate a Contrastive Learning mechanism into the Policy Optimization (CLIPO) to generalize the RLVR process. By optimizing a contrastive loss over successful rollouts, CLIPO steers the LLM to capture the invariant structure shared across correct reasoning paths. This provides a more robust cross-trajectory regularization than the original single-path supervision in RLVR, effectively mitigating step-level reasoning inconsistencies and suppressing hallucinatory artifacts. In experiments, CLIPO consistently improves multiple RLVR baselines across diverse reasoning benchmarks, demonstrating uniform improvements in generalization and robustness for policy optimization of LLMs. Our code and training recipes are available at https://github.com/Qwen-Applications/CLIPO.