Surveillez le processus de génération : Estimation fine de la confiance pendant la génération par les grands modèles de langage

Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation

August 16, 2025

papers.authors: Jinyi Han, Tingyun Li, Shisong Chen, Jie Shi, Xinyi Wang, Guanglei Yue, Jiaqing Liang, Xin Lin, Liqian Wen, Zulong Chen, Yanghua Xiao

cs.AI

papers.abstract

Bien que les grands modèles de langage (LLM) aient démontré des performances remarquables sur diverses tâches, ils manquent fondamentalement de conscience de soi et manifestent fréquemment une surconfiance, attribuant des scores de confiance élevés à des prédictions incorrectes. Une estimation précise de la confiance est donc cruciale pour renforcer la fiabilité et la crédibilité des sorties générées par les LLM. Cependant, les approches existantes souffrent de mécanismes de notation grossiers qui ne parviennent pas à fournir des estimations de confiance continues et fines tout au long du processus de génération. Pour pallier ces limites, nous introduisons FineCE, une nouvelle méthode d'estimation de la confiance qui fournit des scores de confiance précis et granulaires pendant la génération de texte. Plus précisément, nous développons d'abord un pipeline complet pour construire des données d'entraînement qui capturent efficacement la distribution probabiliste sous-jacente des réponses des LLM, puis nous entraînons un modèle à prédire les scores de confiance pour des séquences de texte arbitraires de manière supervisée. En outre, nous proposons une stratégie d'Intégration de Confiance Rétrospective (BCI) qui exploite les informations du texte suivant pour améliorer l'estimation de la confiance pour la séquence actuelle lors de l'inférence. Nous introduisons également trois stratégies pour identifier les positions optimales pour effectuer l'estimation de la confiance dans le processus de génération. Des expériences approfondies sur plusieurs ensembles de données de référence montrent que FineCE surpasse systématiquement les méthodes classiques d'estimation de la confiance existantes. Notre code et toutes les bases de référence utilisées dans l'article sont disponibles sur GitHub.

English

While large language models (LLMs) have demonstrated remarkable performance across diverse tasks, they fundamentally lack self-awareness and frequently exhibit overconfidence, assigning high confidence scores to incorrect predictions. Accurate confidence estimation is therefore critical for enhancing the trustworthiness and reliability of LLM-generated outputs. However, existing approaches suffer from coarse-grained scoring mechanisms that fail to provide fine-grained, continuous confidence estimates throughout the generation process. To address these limitations, we introduce FineCE, a novel confidence estimation method that delivers accurate, fine-grained confidence scores during text generation. Specifically, we first develop a comprehensive pipeline for constructing training data that effectively captures the underlying probabilistic distribution of LLM responses, and then train a model to predict confidence scores for arbitrary text sequences in a supervised manner. Furthermore, we propose a Backward Confidence Integration (BCI) strategy that leverages information from the subsequent text to enhance confidence estimation for the current sequence during inference. We also introduce three strategies for identifying optimal positions to perform confidence estimation within the generation process. Extensive experiments on multiple benchmark datasets demonstrate that FineCE consistently outperforms existing classical confidence estimation methods. Our code and all baselines used in the paper are available on GitHub.