CLIPO: Контрастное обучение в оптимизации политик обобщает RLVR
CLIPO: Contrastive Learning in Policy Optimization Generalizes RLVR
March 10, 2026
Авторы: Sijia Cui, Pengyu Cheng, Jiajun Song, Yongbo Gai, Guojun Zhang, Zhechao Yu, Jianhe Lin, Xiaoxi Jiang, Guanjun Jiang
cs.AI
Аннотация
Обучение с подкреплением с верифицируемыми вознаграждениями (RLVR) значительно расширило способности крупных языковых моделей (LLM) к рассуждению. Однако RLVR полагается исключительно на итоговые ответы в качестве вознаграждений, игнорируя корректность промежуточных шагов рассуждения. Обучение на таких траекториях, где процесс ошибочен, но итог верен, может приводить к галлюцинациям и копированию ответов, что серьезно подрывает обобщающую способность и устойчивость модели. Для решения этой проблемы мы интегрируем механизм контрастивного обучения в оптимизацию стратегии (CLIPO) для обобщения процесса RLVR. Оптимизируя контрастивную функцию потерь на успешных траекториях, CLIPO направляет LLM на выявление инвариантной структуры, общей для всех корректных путей рассуждений. Это обеспечивает более надежную регуляризацию между траекториями по сравнению с исходным однотраекторным контролем в RLVR, эффективно устраняя несогласованность рассуждений на уровне шагов и подавляя артефакты в виде галлюцинаций. В экспериментах CLIPO стабильно улучшает показатели нескольких базовых моделей RLVR на различных тестах рассуждений, демонстрируя равномерный прогресс в обобщающей способности и устойчивости при оптимизации стратегии LLM. Наш код и рецепты обучения доступны по адресу https://github.com/Qwen-Applications/CLIPO.
English
Reinforcement Learning with Verifiable Rewards (RLVR) has significantly advanced the reasoning capacity of Large Language Models (LLMs). However, RLVR solely relies on final answers as outcome rewards, neglecting the correctness of intermediate reasoning steps. Training on these process-wrong but outcome-correct rollouts can lead to hallucination and answer-copying, severely undermining the model's generalization and robustness. To address this, we incorporate a Contrastive Learning mechanism into the Policy Optimization (CLIPO) to generalize the RLVR process. By optimizing a contrastive loss over successful rollouts, CLIPO steers the LLM to capture the invariant structure shared across correct reasoning paths. This provides a more robust cross-trajectory regularization than the original single-path supervision in RLVR, effectively mitigating step-level reasoning inconsistencies and suppressing hallucinatory artifacts. In experiments, CLIPO consistently improves multiple RLVR baselines across diverse reasoning benchmarks, demonstrating uniform improvements in generalization and robustness for policy optimization of LLMs. Our code and training recipes are available at https://github.com/Qwen-Applications/CLIPO.