Jenseits binärer Belohnungen: Training von Sprachmodellen zur Reflexion über ihre Unsicherheit

Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty

July 22, 2025

papers.authors: Mehul Damani, Isha Puri, Stewart Slocum, Idan Shenfeld, Leshem Choshen, Yoon Kim, Jacob Andreas

cs.AI

papers.abstract

Wenn Sprachmodelle (LMs) durch Reinforcement Learning (RL) trainiert werden, um natürliche Sprach-„Begründungsketten“ zu generieren, verbessert sich ihre Leistung bei einer Vielzahl schwieriger Frage-Antwort-Aufgaben. Heutzutage verwenden fast alle erfolgreichen Anwendungen von RL für das logische Schließen binäre Belohnungsfunktionen, die die Korrektheit der LM-Ausgaben bewerten. Da solche Belohnungsfunktionen das Raten oder Ausgaben mit geringem Vertrauen nicht bestrafen, haben sie oft den unbeabsichtigten Nebeneffekt, dass sie die Kalibrierung verschlechtern und die Rate erhöhen, mit der LMs in anderen Problemdomänen falsche Antworten generieren (oder „halluzinieren“). Dieses Papier beschreibt RLCR (Reinforcement Learning with Calibration Rewards), einen Ansatz zur Schulung von Schließmodellen, der sowohl die Genauigkeit als auch die kalibrierte Konfidenzschätzung verbessert. Während RLCR generieren LMs sowohl Vorhersagen als auch numerische Konfidenzschätzungen nach dem Schließen. Sie werden trainiert, um eine Belohnungsfunktion zu optimieren, die einen binären Korrektheitswert mit einem Brier-Score – einer Bewertungsregel für Konfidenzschätzungen, die kalibrierte Vorhersagen fördert – ergänzt. Wir beweisen zunächst, dass diese Belohnungsfunktion (oder jede analoge Belohnungsfunktion, die eine begrenzte, korrekte Bewertungsregel verwendet) Modelle hervorbringt, deren Vorhersagen sowohl genau als auch gut kalibriert sind. Anschließend zeigen wir, dass RLCR über diverse Datensätze hinweg die Kalibrierung erheblich verbessert, ohne die Genauigkeit zu beeinträchtigen, sowohl bei In-Domain- als auch bei Out-of-Domain-Evaluierungen – und dabei sowohl gewöhnliches RL-Training als auch Klassifikatoren, die darauf trainiert sind, nachträgliche Konfidenzscores zuzuweisen, übertrifft. Während gewöhnliches RL die Kalibrierung verschlechtert, verbessert RLCR sie. Schließlich demonstrieren wir, dass verbalisierte Konfidenz zur Testzeit genutzt werden kann, um die Genauigkeit und Kalibrierung durch konfidenzgewichtete Skalierungsmethoden zu verbessern. Unsere Ergebnisse zeigen, dass die explizite Optimierung auf Kalibrierung allgemein zuverlässigere Schließmodelle hervorbringen kann.

English

When language models (LMs) are trained via reinforcement learning (RL) to generate natural language "reasoning chains", their performance improves on a variety of difficult question answering tasks. Today, almost all successful applications of RL for reasoning use binary reward functions that evaluate the correctness of LM outputs. Because such reward functions do not penalize guessing or low-confidence outputs, they often have the unintended side-effect of degrading calibration and increasing the rate at which LMs generate incorrect responses (or "hallucinate") in other problem domains. This paper describes RLCR (Reinforcement Learning with Calibration Rewards), an approach to training reasoning models that jointly improves accuracy and calibrated confidence estimation. During RLCR, LMs generate both predictions and numerical confidence estimates after reasoning. They are trained to optimize a reward function that augments a binary correctness score with a Brier score -- a scoring rule for confidence estimates that incentivizes calibrated prediction. We first prove that this reward function (or any analogous reward function that uses a bounded, proper scoring rule) yields models whose predictions are both accurate and well-calibrated. We next show that across diverse datasets, RLCR substantially improves calibration with no loss in accuracy, on both in-domain and out-of-domain evaluations -- outperforming both ordinary RL training and classifiers trained to assign post-hoc confidence scores. While ordinary RL hurts calibration, RLCR improves it. Finally, we demonstrate that verbalized confidence can be leveraged at test time to improve accuracy and calibration via confidence-weighted scaling methods. Our results show that explicitly optimizing for calibration can produce more generally reliable reasoning models.