Разделение рассуждений и уверенности: восстановление калибровки в обучении с подкреплением на основе верифицируемых вознаграждений
Decoupling Reasoning and Confidence: Resurrecting Calibration in Reinforcement Learning from Verifiable Rewards
March 10, 2026
Авторы: Zhengzhao Ma, Xueru Wen, Boxi Cao, Yaojie Lu, Hongyu Lin, Jinglin Yang, Min He, Xianpei Han, Le Sun
cs.AI
Аннотация
Обучение с подкреплением на основе проверяемых вознаграждений (RLVR) значительно улучшает способность больших языковых моделей (LLM) к рассуждениям, но при этом сильно страдает от деградации калибровки, когда модели становятся чрезмерно уверенными в неверных ответах. Предыдущие исследования были направлены на прямое включение цели калибровки в существующую целевую функцию оптимизации. Однако наш теоретический анализ показывает, что существует фундаментальный конфликт градиентов между оптимизацией для максимизации точности политики и минимизации ошибки калибровки. Основываясь на этом выводе, мы предлагаем DCPO — простую, но эффективную структуру, которая систематически разделяет цели рассуждений и калибровки. Многочисленные эксперименты демонстрируют, что наш DCPO не только сохраняет точность на уровне, сопоставимом с GRPO, но и достигает наилучших показателей калибровки, существенно смягчая проблему избыточной уверенности. Наше исследование предоставляет ценные идеи и практическое решение для более надежного развертывания LLM.
English
Reinforcement Learning from Verifiable Rewards (RLVR) significantly enhances large language models (LLMs) reasoning but severely suffers from calibration degeneration, where models become excessively over-confident in incorrect answers. Previous studies devote to directly incorporating calibration objective into existing optimization target. However, our theoretical analysis demonstrates that there exists a fundamental gradient conflict between the optimization for maximizing policy accuracy and minimizing calibration error. Building on this insight, we propose DCPO, a simple yet effective framework that systematically decouples reasoning and calibration objectives. Extensive experiments demonstrate that our DCPO not only preserves accuracy on par with GRPO but also achieves the best calibration performance and substantially mitigates the over-confidence issue. Our study provides valuable insights and practical solution for more reliable LLM deployment.