Desacoplando Raciocínio e Confiança: Ressuscitando a Calibração no Aprendizado por Reforço a partir de Recompensas Verificáveis
Decoupling Reasoning and Confidence: Resurrecting Calibration in Reinforcement Learning from Verifiable Rewards
March 10, 2026
Autores: Zhengzhao Ma, Xueru Wen, Boxi Cao, Yaojie Lu, Hongyu Lin, Jinglin Yang, Min He, Xianpei Han, Le Sun
cs.AI
Resumo
O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) melhora significativamente o raciocínio de grandes modelos de linguagem (LLMs), mas sofre severamente com a degeneração da calibração, onde os modelos tornam-se excessivamente confiantes em respostas incorretas. Estudos anteriores dedicam-se a incorporar diretamente o objetivo de calibração na função de otimização existente. No entanto, nossa análise teórica demonstra que existe um conflito fundamental de gradiente entre a otimização para maximizar a precisão da política e minimizar o erro de calibração. Com base nessa percepção, propomos o DCPO, uma estrutura simples, porém eficaz, que dissocia sistematicamente os objetivos de raciocínio e calibração. Experimentos extensivos demonstram que nosso DCPO não apenas preserva uma precisão equivalente à do GRPO, mas também alcança o melhor desempenho de calibração e mitiga substancialmente o problema de excesso de confiança. Nosso estudo fornece insights valiosos e uma solução prática para uma implantação mais confiável de LLMs.
English
Reinforcement Learning from Verifiable Rewards (RLVR) significantly enhances large language models (LLMs) reasoning but severely suffers from calibration degeneration, where models become excessively over-confident in incorrect answers. Previous studies devote to directly incorporating calibration objective into existing optimization target. However, our theoretical analysis demonstrates that there exists a fundamental gradient conflict between the optimization for maximizing policy accuracy and minimizing calibration error. Building on this insight, we propose DCPO, a simple yet effective framework that systematically decouples reasoning and calibration objectives. Extensive experiments demonstrate that our DCPO not only preserves accuracy on par with GRPO but also achieves the best calibration performance and substantially mitigates the over-confidence issue. Our study provides valuable insights and practical solution for more reliable LLM deployment.