CLIPO: Contrastie Leren in Beleidsoptimalisatie Generaliseert RLVR
CLIPO: Contrastive Learning in Policy Optimization Generalizes RLVR
March 10, 2026
Auteurs: Sijia Cui, Pengyu Cheng, Jiajun Song, Yongbo Gai, Guojun Zhang, Zhechao Yu, Jianhe Lin, Xiaoxi Jiang, Guanjun Jiang
cs.AI
Samenvatting
Versterkend Leren met Verifieerbare Beloningen (RLVR) heeft het redeneervermogen van Large Language Models (LLM's) aanzienlijk vooruitgeholpen. RLVR baseert zich echter uitsluitend op eindantwoorden als uitkomstbeloningen, waarbij de correctheid van tussenliggende redeneerstappen wordt verwaarloosd. Training op deze rollouts met een fout proces maar correcte uitkomst kan leiden tot hallucinatie en het kopiëren van antwoorden, wat de generalisatie en robuustheid van het model ernstig ondermijnt. Om dit aan te pakken, integreren we een Contrastief Leermechanisme in de Policy Optimalisatie (CLIPO) om het RLVR-proces te generaliseren. Door een contrastief verlies te optimaliseren over succesvolle rollouts, stuurt CLIPO de LLM aan om de invariante structuur vast te leggen die gedeeld wordt door correcte redeneerpaden. Dit biedt een robuustere regularisatie over trajecten heen dan het oorspronkelijke toezicht op enkelvoudige paden in RLVR, waardoor stapniveau-inconsistenties in het redeneren effectief worden verminderd en hallucinatoire artefacten worden onderdrukt. In experimenten verbetert CLIPO consistent meerdere RLVR-baselines op diverse redeneerbenchmarks, wat uniforme verbeteringen aantoont in generalisatie en robuustheid voor policy-optimalisatie van LLM's. Onze code en trainingsrecepten zijn beschikbaar op https://github.com/Qwen-Applications/CLIPO.
English
Reinforcement Learning with Verifiable Rewards (RLVR) has significantly advanced the reasoning capacity of Large Language Models (LLMs). However, RLVR solely relies on final answers as outcome rewards, neglecting the correctness of intermediate reasoning steps. Training on these process-wrong but outcome-correct rollouts can lead to hallucination and answer-copying, severely undermining the model's generalization and robustness. To address this, we incorporate a Contrastive Learning mechanism into the Policy Optimization (CLIPO) to generalize the RLVR process. By optimizing a contrastive loss over successful rollouts, CLIPO steers the LLM to capture the invariant structure shared across correct reasoning paths. This provides a more robust cross-trajectory regularization than the original single-path supervision in RLVR, effectively mitigating step-level reasoning inconsistencies and suppressing hallucinatory artifacts. In experiments, CLIPO consistently improves multiple RLVR baselines across diverse reasoning benchmarks, demonstrating uniform improvements in generalization and robustness for policy optimization of LLMs. Our code and training recipes are available at https://github.com/Qwen-Applications/CLIPO.