Entkopplung von Entscheidungsfindung und Vertrauen: Wiederherstellung der Kalibrierung beim Reinforcement Learning durch verifizierbare Belohnungen
Decoupling Reasoning and Confidence: Resurrecting Calibration in Reinforcement Learning from Verifiable Rewards
March 10, 2026
Autoren: Zhengzhao Ma, Xueru Wen, Boxi Cao, Yaojie Lu, Hongyu Lin, Jinglin Yang, Min He, Xianpei Han, Le Sun
cs.AI
Zusammenfassung
Reinforcement Learning from Verifiable Rewards (RLVR) verbessert die Fähigkeit von Large Language Models (LLMs) zum logischen Schlussfolgern erheblich, leidet jedoch stark unter einem Kalibrierungsverfall, bei dem die Modelle übermäßig selbstsicher in falschen Antworten werden. Bisherige Studien konzentrieren sich darauf, das Kalibrierungsziel direkt in das bestehende Optimierungsziel zu integrieren. Unsere theoretische Analyse zeigt jedoch, dass ein grundlegender Gradientenkonflikt zwischen der Optimierung zur Maximierung der Richtlinientreffergenauigkeit und der Minimierung des Kalibrierungsfehlers besteht. Aufbauend auf dieser Erkenntnis schlagen wir DCPO vor, ein einfaches, aber effektives Framework, das die Ziele für das Schlussfolgern und die Kalibrierung systematisch entkoppelt. Umfangreiche Experimente belegen, dass unser DCPO nicht nur eine mit GRPO vergleichbare Genauigkeit beibehält, sondern auch die beste Kalibrierungsleistung erzielt und das Problem der Überselbstsicherheit erheblich mildert. Unsere Studie liefert wertvolle Einblicke und eine praktische Lösung für einen zuverlässigeren Einsatz von LLMs.
English
Reinforcement Learning from Verifiable Rewards (RLVR) significantly enhances large language models (LLMs) reasoning but severely suffers from calibration degeneration, where models become excessively over-confident in incorrect answers. Previous studies devote to directly incorporating calibration objective into existing optimization target. However, our theoretical analysis demonstrates that there exists a fundamental gradient conflict between the optimization for maximizing policy accuracy and minimizing calibration error. Building on this insight, we propose DCPO, a simple yet effective framework that systematically decouples reasoning and calibration objectives. Extensive experiments demonstrate that our DCPO not only preserves accuracy on par with GRPO but also achieves the best calibration performance and substantially mitigates the over-confidence issue. Our study provides valuable insights and practical solution for more reliable LLM deployment.