Ontkoppeling van Redeneren en Vertrouwen: Herstel van Calibratie bij Reinforcement Learning met Verifieerbare Beloningen

Decoupling Reasoning and Confidence: Resurrecting Calibration in Reinforcement Learning from Verifiable Rewards

March 10, 2026

Auteurs: Zhengzhao Ma, Xueru Wen, Boxi Cao, Yaojie Lu, Hongyu Lin, Jinglin Yang, Min He, Xianpei Han, Le Sun

cs.AI

Samenvatting

Reinforcement Learning from Verifiable Rewards (RLVR) verbetert de redeneervaardigheid van grote taalmodellen (LLM's) aanzienlijk, maar lijdt ernstig onder calibratiedegeneratie, waarbij modellen excessief overtuigd raken van onjuiste antwoorden. Eerdere studies richten zich op het direct integreren van een calibratiedoelstelling in de bestaande optimalisatiedoelstelling. Onze theoretische analyse toont echter aan dat er een fundamenteel gradientconflict bestaat tussen de optimalisatie voor het maximaliseren van de beleidsnauwkeurigheid en het minimaliseren van de calibratiefout. Op basis van dit inzicht presenteren we DCPO, een eenvoudig maar effectief raamwerk dat de redeneer- en calibratiedoelstellingen systematisch ontkoppelt. Uitgebreide experimenten tonen aan dat onze DCPO niet alleen een nauwkeurigheid behoudt die vergelijkbaar is met GRPO, maar ook de beste calibratieprestatie bereikt en het overmatige vertrouwen aanzienlijk vermindert. Onze studie biedt waardevolle inzichten en een praktische oplossing voor een betrouwbaardere inzet van LLM's.

English

Reinforcement Learning from Verifiable Rewards (RLVR) significantly enhances large language models (LLMs) reasoning but severely suffers from calibration degeneration, where models become excessively over-confident in incorrect answers. Previous studies devote to directly incorporating calibration objective into existing optimization target. However, our theoretical analysis demonstrates that there exists a fundamental gradient conflict between the optimization for maximizing policy accuracy and minimizing calibration error. Building on this insight, we propose DCPO, a simple yet effective framework that systematically decouples reasoning and calibration objectives. Extensive experiments demonstrate that our DCPO not only preserves accuracy on par with GRPO but also achieves the best calibration performance and substantially mitigates the over-confidence issue. Our study provides valuable insights and practical solution for more reliable LLM deployment.