Disaccoppiare il Ragionamento dalla Fiducia: Ristabilire la Calibrazione nell'Apprendimento per Rinforzo tramite Ricompense Verificabili
Decoupling Reasoning and Confidence: Resurrecting Calibration in Reinforcement Learning from Verifiable Rewards
March 10, 2026
Autori: Zhengzhao Ma, Xueru Wen, Boxi Cao, Yaojie Lu, Hongyu Lin, Jinglin Yang, Min He, Xianpei Han, Le Sun
cs.AI
Abstract
Il Reinforcement Learning da Ricompense Verificabili (RLVR) migliora significativamente il ragionamento dei grandi modelli linguistici (LLM), ma soffre gravemente di degenerazione della calibrazione, in cui i modelli diventano eccessivamente sovra-confidenti in risposte errate. Studi precedenti si sono concentrati sull'incorporare direttamente l'obiettivo di calibrazione nella funzione di ottimizzazione esistente. Tuttavia, la nostra analisi teorica dimostra che esiste un conflitto fondamentale a livello di gradiente tra l'ottimizzazione per massimizzare l'accuratezza della policy e quella per minimizzare l'errore di calibrazione. Basandoci su questa intuizione, proponiamo DCPO, un framework semplice ma efficace che disaccoppia sistematicamente gli obiettivi di ragionamento e calibrazione. Esperimenti estesi dimostrano che il nostro DCPO non solo preserva un'accuratezza pari a quella del GRPO, ma raggiunge anche le migliori prestazioni di calibrazione e mitiga sostanzialmente il problema della sovra-confidenza. Il nostro studio fornisce spunti preziosi e una soluzione pratica per un impiego più affidabile degli LLM.
English
Reinforcement Learning from Verifiable Rewards (RLVR) significantly enhances large language models (LLMs) reasoning but severely suffers from calibration degeneration, where models become excessively over-confident in incorrect answers. Previous studies devote to directly incorporating calibration objective into existing optimization target. However, our theoretical analysis demonstrates that there exists a fundamental gradient conflict between the optimization for maximizing policy accuracy and minimizing calibration error. Building on this insight, we propose DCPO, a simple yet effective framework that systematically decouples reasoning and calibration objectives. Extensive experiments demonstrate that our DCPO not only preserves accuracy on par with GRPO but also achieves the best calibration performance and substantially mitigates the over-confidence issue. Our study provides valuable insights and practical solution for more reliable LLM deployment.