Más allá de las recompensas binarias: Entrenamiento de modelos de lenguaje para razonar sobre su incertidumbre

Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty

July 22, 2025

Autores: Mehul Damani, Isha Puri, Stewart Slocum, Idan Shenfeld, Leshem Choshen, Yoon Kim, Jacob Andreas

cs.AI

Resumen

Cuando los modelos de lenguaje (LM, por sus siglas en inglés) se entrenan mediante aprendizaje por refuerzo (RL, por sus siglas en inglés) para generar "cadenas de razonamiento" en lenguaje natural, su rendimiento mejora en una variedad de tareas complejas de respuesta a preguntas. Hoy en día, casi todas las aplicaciones exitosas de RL para el razonamiento utilizan funciones de recompensa binarias que evalúan la corrección de las salidas de los LM. Dado que estas funciones de recompensa no penalizan las conjeturas o las salidas con baja confianza, a menudo tienen el efecto secundario no deseado de degradar la calibración y aumentar la frecuencia con la que los LM generan respuestas incorrectas (o "alucinan") en otros dominios de problemas. Este artículo describe RLCR (Reinforcement Learning with Calibration Rewards), un enfoque para entrenar modelos de razonamiento que mejora conjuntamente la precisión y la estimación de confianza calibrada. Durante RLCR, los LM generan tanto predicciones como estimaciones numéricas de confianza después del razonamiento. Se entrenan para optimizar una función de recompensa que combina una puntuación binaria de corrección con una puntuación de Brier, una regla de puntuación para estimaciones de confianza que incentiva la predicción calibrada. Primero demostramos que esta función de recompensa (o cualquier función de recompensa análoga que utilice una regla de puntuación propia y acotada) produce modelos cuyas predicciones son tanto precisas como bien calibradas. A continuación, mostramos que, en diversos conjuntos de datos, RLCR mejora sustancialmente la calibración sin pérdida de precisión, tanto en evaluaciones dentro del dominio como fuera del dominio, superando tanto al entrenamiento RL ordinario como a los clasificadores entrenados para asignar puntuaciones de confianza a posteriori. Mientras que el RL ordinario perjudica la calibración, RLCR la mejora. Finalmente, demostramos que la confianza verbalizada puede aprovecharse en el momento de la prueba para mejorar la precisión y la calibración mediante métodos de escalado ponderado por confianza. Nuestros resultados muestran que optimizar explícitamente para la calibración puede producir modelos de razonamiento más confiables en general.

English

When language models (LMs) are trained via reinforcement learning (RL) to generate natural language "reasoning chains", their performance improves on a variety of difficult question answering tasks. Today, almost all successful applications of RL for reasoning use binary reward functions that evaluate the correctness of LM outputs. Because such reward functions do not penalize guessing or low-confidence outputs, they often have the unintended side-effect of degrading calibration and increasing the rate at which LMs generate incorrect responses (or "hallucinate") in other problem domains. This paper describes RLCR (Reinforcement Learning with Calibration Rewards), an approach to training reasoning models that jointly improves accuracy and calibrated confidence estimation. During RLCR, LMs generate both predictions and numerical confidence estimates after reasoning. They are trained to optimize a reward function that augments a binary correctness score with a Brier score -- a scoring rule for confidence estimates that incentivizes calibrated prediction. We first prove that this reward function (or any analogous reward function that uses a bounded, proper scoring rule) yields models whose predictions are both accurate and well-calibrated. We next show that across diverse datasets, RLCR substantially improves calibration with no loss in accuracy, on both in-domain and out-of-domain evaluations -- outperforming both ordinary RL training and classifiers trained to assign post-hoc confidence scores. While ordinary RL hurts calibration, RLCR improves it. Finally, we demonstrate that verbalized confidence can be leveraged at test time to improve accuracy and calibration via confidence-weighted scaling methods. Our results show that explicitly optimizing for calibration can produce more generally reliable reasoning models.