За пределами бинарных вознаграждений: обучение языковых моделей анализировать свою неопределенность

Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty

July 22, 2025

Авторы: Mehul Damani, Isha Puri, Stewart Slocum, Idan Shenfeld, Leshem Choshen, Yoon Kim, Jacob Andreas

cs.AI

Аннотация

Когда языковые модели (LM) обучаются с использованием обучения с подкреплением (RL) для генерации "цепей рассуждений" на естественном языке, их производительность улучшается в различных сложных задачах ответов на вопросы. Сегодня почти все успешные применения RL для рассуждений используют бинарные функции вознаграждения, которые оценивают правильность выходных данных LM. Поскольку такие функции вознаграждения не наказывают за угадывание или низкую уверенность в выводах, они часто имеют непреднамеренный побочный эффект, ухудшая калибровку и увеличивая частоту, с которой LM генерируют некорректные ответы (или "галлюцинируют") в других проблемных областях. В данной статье описывается RLCR (Reinforcement Learning with Calibration Rewards) — подход к обучению моделей рассуждений, который совместно улучшает точность и калиброванную оценку уверенности. В процессе RLCR LM генерируют как предсказания, так и численные оценки уверенности после рассуждений. Они обучаются для оптимизации функции вознаграждения, которая дополняет бинарную оценку правильности оценкой Брайера — правилом оценки уверенности, которое стимулирует калиброванные предсказания. Сначала мы доказываем, что эта функция вознаграждения (или любая аналогичная функция, использующая ограниченное, строгое правило оценки) приводит к моделям, чьи предсказания являются как точными, так и хорошо калиброванными. Затем мы показываем, что на различных наборах данных RLCR значительно улучшает калибровку без потери точности как на внутридоменных, так и на внедоменных оценках — превосходя как обычное обучение RL, так и классификаторы, обученные назначать апостериорные оценки уверенности. В то время как обычное RL ухудшает калибровку, RLCR улучшает её. Наконец, мы демонстрируем, что вербализованная уверенность может быть использована на этапе тестирования для улучшения точности и калибровки с помощью методов масштабирования, учитывающих уверенность. Наши результаты показывают, что явная оптимизация на калибровку может создавать более надежные модели рассуждений в целом.

English

When language models (LMs) are trained via reinforcement learning (RL) to generate natural language "reasoning chains", their performance improves on a variety of difficult question answering tasks. Today, almost all successful applications of RL for reasoning use binary reward functions that evaluate the correctness of LM outputs. Because such reward functions do not penalize guessing or low-confidence outputs, they often have the unintended side-effect of degrading calibration and increasing the rate at which LMs generate incorrect responses (or "hallucinate") in other problem domains. This paper describes RLCR (Reinforcement Learning with Calibration Rewards), an approach to training reasoning models that jointly improves accuracy and calibrated confidence estimation. During RLCR, LMs generate both predictions and numerical confidence estimates after reasoning. They are trained to optimize a reward function that augments a binary correctness score with a Brier score -- a scoring rule for confidence estimates that incentivizes calibrated prediction. We first prove that this reward function (or any analogous reward function that uses a bounded, proper scoring rule) yields models whose predictions are both accurate and well-calibrated. We next show that across diverse datasets, RLCR substantially improves calibration with no loss in accuracy, on both in-domain and out-of-domain evaluations -- outperforming both ordinary RL training and classifiers trained to assign post-hoc confidence scores. While ordinary RL hurts calibration, RLCR improves it. Finally, we demonstrate that verbalized confidence can be leveraged at test time to improve accuracy and calibration via confidence-weighted scaling methods. Our results show that explicitly optimizing for calibration can produce more generally reliable reasoning models.