Au-delà des récompenses binaires : entraîner les modèles de langage à raisonner sur leur incertitude

Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty

July 22, 2025

papers.authors: Mehul Damani, Isha Puri, Stewart Slocum, Idan Shenfeld, Leshem Choshen, Yoon Kim, Jacob Andreas

cs.AI

papers.abstract

Lorsque les modèles de langage (LM) sont entraînés via l'apprentissage par renforcement (RL) pour générer des "chaînes de raisonnement" en langage naturel, leurs performances s'améliorent sur une variété de tâches complexes de question-réponse. Aujourd'hui, presque toutes les applications réussies du RL pour le raisonnement utilisent des fonctions de récompense binaires qui évaluent la justesse des sorties des LM. Comme ces fonctions de récompense ne pénalisent pas les conjectures ou les sorties à faible confiance, elles ont souvent l'effet secondaire involontaire de dégrader l'étalonnage et d'augmenter le taux auquel les LM génèrent des réponses incorrectes (ou "hallucinent") dans d'autres domaines de problèmes. Cet article décrit RLCR (Reinforcement Learning with Calibration Rewards), une approche pour entraîner des modèles de raisonnement qui améliorent conjointement la précision et l'estimation calibrée de la confiance. Pendant RLCR, les LM génèrent à la fois des prédictions et des estimations numériques de confiance après le raisonnement. Ils sont entraînés à optimiser une fonction de récompense qui augmente un score de justesse binaire avec un score de Brier — une règle de notation pour les estimations de confiance qui incite à une prédiction calibrée. Nous prouvons d'abord que cette fonction de récompense (ou toute fonction de récompense analogue utilisant une règle de notation bornée et propre) produit des modèles dont les prédictions sont à la fois précises et bien calibrées. Nous montrons ensuite que, sur divers ensembles de données, RLCR améliore considérablement l'étalonnage sans perte de précision, tant sur les évaluations en domaine qu'hors domaine — surpassant à la fois l'entraînement RL ordinaire et les classificateurs entraînés à attribuer des scores de confiance a posteriori. Alors que le RL ordinaire nuit à l'étalonnage, RLCR l'améliore. Enfin, nous démontrons que la confiance verbalisée peut être exploitée au moment du test pour améliorer la précision et l'étalonnage via des méthodes de mise à l'échelle pondérées par la confiance. Nos résultats montrent qu'optimiser explicitement pour l'étalonnage peut produire des modèles de raisonnement plus généralement fiables.

English

When language models (LMs) are trained via reinforcement learning (RL) to generate natural language "reasoning chains", their performance improves on a variety of difficult question answering tasks. Today, almost all successful applications of RL for reasoning use binary reward functions that evaluate the correctness of LM outputs. Because such reward functions do not penalize guessing or low-confidence outputs, they often have the unintended side-effect of degrading calibration and increasing the rate at which LMs generate incorrect responses (or "hallucinate") in other problem domains. This paper describes RLCR (Reinforcement Learning with Calibration Rewards), an approach to training reasoning models that jointly improves accuracy and calibrated confidence estimation. During RLCR, LMs generate both predictions and numerical confidence estimates after reasoning. They are trained to optimize a reward function that augments a binary correctness score with a Brier score -- a scoring rule for confidence estimates that incentivizes calibrated prediction. We first prove that this reward function (or any analogous reward function that uses a bounded, proper scoring rule) yields models whose predictions are both accurate and well-calibrated. We next show that across diverse datasets, RLCR substantially improves calibration with no loss in accuracy, on both in-domain and out-of-domain evaluations -- outperforming both ordinary RL training and classifiers trained to assign post-hoc confidence scores. While ordinary RL hurts calibration, RLCR improves it. Finally, we demonstrate that verbalized confidence can be leveraged at test time to improve accuracy and calibration via confidence-weighted scaling methods. Our results show that explicitly optimizing for calibration can produce more generally reliable reasoning models.