Atención al Proceso de Generación: Estimación de Confianza Detallada Durante la Generación de Modelos de Lenguaje de Gran Escala

Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation

August 16, 2025

Autores: Jinyi Han, Tingyun Li, Shisong Chen, Jie Shi, Xinyi Wang, Guanglei Yue, Jiaqing Liang, Xin Lin, Liqian Wen, Zulong Chen, Yanghua Xiao

cs.AI

Resumen

Si bien los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han demostrado un rendimiento notable en diversas tareas, carecen fundamentalmente de autoconciencia y con frecuencia muestran un exceso de confianza, asignando puntuaciones de confianza elevadas a predicciones incorrectas. Por lo tanto, la estimación precisa de la confianza es crucial para mejorar la confiabilidad y la fiabilidad de las salidas generadas por los LLMs. Sin embargo, los enfoques existentes adolecen de mecanismos de puntuación de grano grueso que no proporcionan estimaciones de confianza continuas y de grano fino durante el proceso de generación. Para abordar estas limitaciones, presentamos FineCE, un método novedoso de estimación de confianza que ofrece puntuaciones de confianza precisas y detalladas durante la generación de texto. Específicamente, primero desarrollamos una canalización integral para construir datos de entrenamiento que capturan efectivamente la distribución probabilística subyacente de las respuestas de los LLMs, y luego entrenamos un modelo para predecir puntuaciones de confianza para secuencias de texto arbitrarias de manera supervisada. Además, proponemos una estrategia de Integración de Confianza hacia Atrás (BCI, por sus siglas en inglés) que aprovecha la información del texto subsiguiente para mejorar la estimación de confianza de la secuencia actual durante la inferencia. También introducimos tres estrategias para identificar posiciones óptimas para realizar la estimación de confianza dentro del proceso de generación. Experimentos exhaustivos en múltiples conjuntos de datos de referencia demuestran que FineCE supera consistentemente a los métodos clásicos de estimación de confianza existentes. Nuestro código y todas las líneas base utilizadas en el artículo están disponibles en GitHub.

English

While large language models (LLMs) have demonstrated remarkable performance across diverse tasks, they fundamentally lack self-awareness and frequently exhibit overconfidence, assigning high confidence scores to incorrect predictions. Accurate confidence estimation is therefore critical for enhancing the trustworthiness and reliability of LLM-generated outputs. However, existing approaches suffer from coarse-grained scoring mechanisms that fail to provide fine-grained, continuous confidence estimates throughout the generation process. To address these limitations, we introduce FineCE, a novel confidence estimation method that delivers accurate, fine-grained confidence scores during text generation. Specifically, we first develop a comprehensive pipeline for constructing training data that effectively captures the underlying probabilistic distribution of LLM responses, and then train a model to predict confidence scores for arbitrary text sequences in a supervised manner. Furthermore, we propose a Backward Confidence Integration (BCI) strategy that leverages information from the subsequent text to enhance confidence estimation for the current sequence during inference. We also introduce three strategies for identifying optimal positions to perform confidence estimation within the generation process. Extensive experiments on multiple benchmark datasets demonstrate that FineCE consistently outperforms existing classical confidence estimation methods. Our code and all baselines used in the paper are available on GitHub.