生成プロセスに注意を払う：LLM生成中の細粒度な信頼度推定

Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation

August 16, 2025

著者: Jinyi Han, Tingyun Li, Shisong Chen, Jie Shi, Xinyi Wang, Guanglei Yue, Jiaqing Liang, Xin Lin, Liqian Wen, Zulong Chen, Yanghua Xiao

cs.AI

要旨

大規模言語モデル（LLM）は多様なタスクにおいて顕著な性能を発揮しているものの、本質的に自己認識を欠いており、誤った予測に対して高い信頼度スコアを付与するなど、過信を示すことが頻繁にあります。そのため、正確な信頼度推定は、LLMが生成する出力の信頼性と信頼度を向上させる上で極めて重要です。しかし、既存のアプローチでは、生成プロセス全体を通じて細粒度で連続的な信頼度推定を提供できない粗粒度のスコアリングメカニズムが課題となっています。これらの制限に対処するため、本論文ではFineCEを提案します。FineCEは、テキスト生成中に正確で細粒度の信頼度スコアを提供する新しい信頼度推定手法です。具体的には、まずLLMの応答の根底にある確率分布を効果的に捉える訓練データを構築するための包括的なパイプラインを開発し、その後、任意のテキストシーケンスに対する信頼度スコアを教師あり学習で予測するモデルを訓練します。さらに、推論時に後続のテキストからの情報を活用して現在のシーケンスの信頼度推定を強化するBackward Confidence Integration（BCI）戦略を提案します。また、生成プロセス内で信頼度推定を行う最適な位置を特定するための3つの戦略を導入します。複数のベンチマークデータセットを用いた大規模な実験により、FineCEが既存の古典的な信頼度推定手法を一貫して上回ることを実証しました。本論文で使用したコードとすべてのベースラインはGitHubで公開しています。

English

While large language models (LLMs) have demonstrated remarkable performance across diverse tasks, they fundamentally lack self-awareness and frequently exhibit overconfidence, assigning high confidence scores to incorrect predictions. Accurate confidence estimation is therefore critical for enhancing the trustworthiness and reliability of LLM-generated outputs. However, existing approaches suffer from coarse-grained scoring mechanisms that fail to provide fine-grained, continuous confidence estimates throughout the generation process. To address these limitations, we introduce FineCE, a novel confidence estimation method that delivers accurate, fine-grained confidence scores during text generation. Specifically, we first develop a comprehensive pipeline for constructing training data that effectively captures the underlying probabilistic distribution of LLM responses, and then train a model to predict confidence scores for arbitrary text sequences in a supervised manner. Furthermore, we propose a Backward Confidence Integration (BCI) strategy that leverages information from the subsequent text to enhance confidence estimation for the current sequence during inference. We also introduce three strategies for identifying optimal positions to perform confidence estimation within the generation process. Extensive experiments on multiple benchmark datasets demonstrate that FineCE consistently outperforms existing classical confidence estimation methods. Our code and all baselines used in the paper are available on GitHub.