Следите за процессом генерации: точная оценка уверенности во время генерации в крупных языковых моделях

Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation

August 16, 2025

Авторы: Jinyi Han, Tingyun Li, Shisong Chen, Jie Shi, Xinyi Wang, Guanglei Yue, Jiaqing Liang, Xin Lin, Liqian Wen, Zulong Chen, Yanghua Xiao

cs.AI

Аннотация

Хотя крупные языковые модели (LLMs) демонстрируют впечатляющие результаты в решении разнообразных задач, они принципиально лишены самосознания и часто проявляют излишнюю уверенность, присваивая высокие оценки достоверности ошибочным предсказаниям. Точная оценка уверенности, таким образом, крайне важна для повышения доверия и надежности результатов, генерируемых LLM. Однако существующие подходы страдают от грубых механизмов оценки, которые не способны предоставить детализированные и непрерывные оценки уверенности в процессе генерации. Для устранения этих ограничений мы представляем FineCE — новый метод оценки уверенности, который обеспечивает точные и детализированные оценки уверенности в ходе генерации текста. В частности, мы сначала разрабатываем комплексный конвейер для создания обучающих данных, который эффективно отражает лежащее в основе вероятностное распределение ответов LLM, а затем обучаем модель предсказывать оценки уверенности для произвольных текстовых последовательностей в контролируемом режиме. Кроме того, мы предлагаем стратегию обратной интеграции уверенности (Backward Confidence Integration, BCI), которая использует информацию из последующего текста для улучшения оценки уверенности текущей последовательности на этапе вывода. Мы также вводим три стратегии для определения оптимальных позиций выполнения оценки уверенности в процессе генерации. Многочисленные эксперименты на нескольких эталонных наборах данных показывают, что FineCE стабильно превосходит существующие классические методы оценки уверенности. Наш код и все базовые методы, использованные в статье, доступны на GitHub.

English

While large language models (LLMs) have demonstrated remarkable performance across diverse tasks, they fundamentally lack self-awareness and frequently exhibit overconfidence, assigning high confidence scores to incorrect predictions. Accurate confidence estimation is therefore critical for enhancing the trustworthiness and reliability of LLM-generated outputs. However, existing approaches suffer from coarse-grained scoring mechanisms that fail to provide fine-grained, continuous confidence estimates throughout the generation process. To address these limitations, we introduce FineCE, a novel confidence estimation method that delivers accurate, fine-grained confidence scores during text generation. Specifically, we first develop a comprehensive pipeline for constructing training data that effectively captures the underlying probabilistic distribution of LLM responses, and then train a model to predict confidence scores for arbitrary text sequences in a supervised manner. Furthermore, we propose a Backward Confidence Integration (BCI) strategy that leverages information from the subsequent text to enhance confidence estimation for the current sequence during inference. We also introduce three strategies for identifying optimal positions to perform confidence estimation within the generation process. Extensive experiments on multiple benchmark datasets demonstrate that FineCE consistently outperforms existing classical confidence estimation methods. Our code and all baselines used in the paper are available on GitHub.