Oltre le Ricompense Binarie: Addestrare i Modelli Linguistici a Ragionare sulla Loro Incertezza

Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty

July 22, 2025

Autori: Mehul Damani, Isha Puri, Stewart Slocum, Idan Shenfeld, Leshem Choshen, Yoon Kim, Jacob Andreas

cs.AI

Abstract

Quando i modelli linguistici (LM) vengono addestrati tramite apprendimento per rinforzo (RL) per generare "catene di ragionamento" in linguaggio naturale, le loro prestazioni migliorano in una varietà di compiti complessi di risposta alle domande. Oggi, quasi tutte le applicazioni di successo dell'RL per il ragionamento utilizzano funzioni di ricompensa binaria che valutano la correttezza degli output dei LM. Poiché tali funzioni di ricompensa non penalizzano le ipotesi casuali o gli output a bassa confidenza, spesso hanno l'effetto collaterale non intenzionale di degradare la calibrazione e aumentare la frequenza con cui i LM generano risposte errate (o "allucinano") in altri domini problematici. Questo articolo descrive RLCR (Reinforcement Learning with Calibration Rewards), un approccio per addestrare modelli di ragionamento che migliora congiuntamente l'accuratezza e la stima della confidenza calibrata. Durante RLCR, i LM generano sia previsioni che stime numeriche di confidenza dopo il ragionamento. Vengono addestrati per ottimizzare una funzione di ricompensa che integra un punteggio di correttezza binario con un punteggio di Brier — una regola di punteggio per le stime di confidenza che incentiva previsioni calibrate. Dimostriamo innanzitutto che questa funzione di ricompensa (o qualsiasi funzione di ricompensa analoga che utilizza una regola di punteggio limitata e propria) produce modelli le cui previsioni sono sia accurate che ben calibrate. Successivamente, mostriamo che, su diversi dataset, RLCR migliora sostanzialmente la calibrazione senza perdita di accuratezza, sia nelle valutazioni in dominio che fuori dominio — superando sia l'addestramento RL ordinario che i classificatori addestrati per assegnare punteggi di confidenza post-hoc. Mentre l'RL ordinario danneggia la calibrazione, RLCR la migliora. Infine, dimostriamo che la confidenza verbalizzata può essere sfruttata al momento del test per migliorare l'accuratezza e la calibrazione tramite metodi di scalatura ponderata per confidenza. I nostri risultati mostrano che ottimizzare esplicitamente per la calibrazione può produrre modelli di ragionamento più affidabili in generale.

English

When language models (LMs) are trained via reinforcement learning (RL) to generate natural language "reasoning chains", their performance improves on a variety of difficult question answering tasks. Today, almost all successful applications of RL for reasoning use binary reward functions that evaluate the correctness of LM outputs. Because such reward functions do not penalize guessing or low-confidence outputs, they often have the unintended side-effect of degrading calibration and increasing the rate at which LMs generate incorrect responses (or "hallucinate") in other problem domains. This paper describes RLCR (Reinforcement Learning with Calibration Rewards), an approach to training reasoning models that jointly improves accuracy and calibrated confidence estimation. During RLCR, LMs generate both predictions and numerical confidence estimates after reasoning. They are trained to optimize a reward function that augments a binary correctness score with a Brier score -- a scoring rule for confidence estimates that incentivizes calibrated prediction. We first prove that this reward function (or any analogous reward function that uses a bounded, proper scoring rule) yields models whose predictions are both accurate and well-calibrated. We next show that across diverse datasets, RLCR substantially improves calibration with no loss in accuracy, on both in-domain and out-of-domain evaluations -- outperforming both ordinary RL training and classifiers trained to assign post-hoc confidence scores. While ordinary RL hurts calibration, RLCR improves it. Finally, we demonstrate that verbalized confidence can be leveraged at test time to improve accuracy and calibration via confidence-weighted scaling methods. Our results show that explicitly optimizing for calibration can produce more generally reliable reasoning models.