CLIPO: Kontrastives Lernen in der Politikoptimierung verallgemeinert RLVR
CLIPO: Contrastive Learning in Policy Optimization Generalizes RLVR
March 10, 2026
Autoren: Sijia Cui, Pengyu Cheng, Jiajun Song, Yongbo Gai, Guojun Zhang, Zhechao Yu, Jianhe Lin, Xiaoxi Jiang, Guanjun Jiang
cs.AI
Zusammenfassung
Reinforcement Learning mit Verifizierbaren Belohnungen (RLVR) hat die Reasoning-Fähigkeit von Large Language Models (LLMs) erheblich verbessert. Jedoch stützt sich RLVR ausschließlich auf Endantworten als Ergebnisbelohnungen und vernachlässigt die Korrektheit der Zwischenschritte im Reasoning. Das Training mit solchen Prozess-falschen aber Ergebnis-korrekten Rollouts kann zu Halluzinationen und Antwortkopieren führen, was die Generalisierungsfähigkeit und Robustheit des Models erheblich beeinträchtigt. Um dieses Problem zu adressieren, integrieren wir einen Contrastive Learning Mechanismus in die Policy Optimization (CLIPO), um den RLVR-Prozess zu verallgemeinern. Durch die Optimierung eines Contrastive Loss über erfolgreiche Rollouts lenkt CLIPO das LLM dahin, die invariante Struktur zu erfassen, die allen korrekten Reasoning-Pfaden gemeinsam ist. Dies bietet eine robustere Regularisierung über Trajektorien hinweg als die ursprüngliche Einzelpfad-Überwachung in RLVR, mildert effektiv Inkonsistenzen auf Reasoning-Schritt-Ebene und unterdrückt halluzinatorische Artefakte. In Experimenten verbessert CLIPO durchgängig mehrere RLVR-Baselines über diverse Reasoning-Benchmarks hinweg und zeigt einheitliche Verbesserungen in Generalisierung und Robustheit für die Policy-Optimierung von LLMs. Unser Code und Trainingsrezepte sind verfügbar unter https://github.com/Qwen-Applications/CLIPO.
English
Reinforcement Learning with Verifiable Rewards (RLVR) has significantly advanced the reasoning capacity of Large Language Models (LLMs). However, RLVR solely relies on final answers as outcome rewards, neglecting the correctness of intermediate reasoning steps. Training on these process-wrong but outcome-correct rollouts can lead to hallucination and answer-copying, severely undermining the model's generalization and robustness. To address this, we incorporate a Contrastive Learning mechanism into the Policy Optimization (CLIPO) to generalize the RLVR process. By optimizing a contrastive loss over successful rollouts, CLIPO steers the LLM to capture the invariant structure shared across correct reasoning paths. This provides a more robust cross-trajectory regularization than the original single-path supervision in RLVR, effectively mitigating step-level reasoning inconsistencies and suppressing hallucinatory artifacts. In experiments, CLIPO consistently improves multiple RLVR baselines across diverse reasoning benchmarks, demonstrating uniform improvements in generalization and robustness for policy optimization of LLMs. Our code and training recipes are available at https://github.com/Qwen-Applications/CLIPO.