Atenção ao Processo de Geração: Estimativa de Confiança em Nível Fino Durante a Geração de LLM

Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation

August 16, 2025

Autores: Jinyi Han, Tingyun Li, Shisong Chen, Jie Shi, Xinyi Wang, Guanglei Yue, Jiaqing Liang, Xin Lin, Liqian Wen, Zulong Chen, Yanghua Xiao

cs.AI

Resumo

Embora os modelos de linguagem de grande escala (LLMs) tenham demonstrado desempenho notável em diversas tarefas, eles fundamentalmente carecem de autoconsciência e frequentemente exibem excesso de confiança, atribuindo pontuações de confiança elevadas a previsões incorretas. A estimativa precisa de confiança é, portanto, crucial para aumentar a confiabilidade e a robustez das saídas geradas por LLMs. No entanto, as abordagens existentes sofrem com mecanismos de pontuação de granularidade grossa que falham em fornecer estimativas de confiança contínuas e de granularidade fina ao longo do processo de geração. Para superar essas limitações, introduzimos o FineCE, um novo método de estimativa de confiança que fornece pontuações de confiança precisas e de granularidade fina durante a geração de texto. Especificamente, primeiro desenvolvemos um pipeline abrangente para a construção de dados de treinamento que capturam efetivamente a distribuição probabilística subjacente das respostas dos LLMs, e então treinamos um modelo para prever pontuações de confiança para sequências de texto arbitrárias de maneira supervisionada. Além disso, propomos uma estratégia de Integração de Confiança Reversa (BCI) que aproveita informações do texto subsequente para melhorar a estimativa de confiança da sequência atual durante a inferência. Também introduzimos três estratégias para identificar posições ótimas para realizar a estimativa de confiança dentro do processo de geração. Experimentos extensivos em múltiplos conjuntos de dados de referência demonstram que o FineCE supera consistentemente os métodos clássicos de estimativa de confiança existentes. Nosso código e todas as baselines utilizadas no artigo estão disponíveis no GitHub.

English

While large language models (LLMs) have demonstrated remarkable performance across diverse tasks, they fundamentally lack self-awareness and frequently exhibit overconfidence, assigning high confidence scores to incorrect predictions. Accurate confidence estimation is therefore critical for enhancing the trustworthiness and reliability of LLM-generated outputs. However, existing approaches suffer from coarse-grained scoring mechanisms that fail to provide fine-grained, continuous confidence estimates throughout the generation process. To address these limitations, we introduce FineCE, a novel confidence estimation method that delivers accurate, fine-grained confidence scores during text generation. Specifically, we first develop a comprehensive pipeline for constructing training data that effectively captures the underlying probabilistic distribution of LLM responses, and then train a model to predict confidence scores for arbitrary text sequences in a supervised manner. Furthermore, we propose a Backward Confidence Integration (BCI) strategy that leverages information from the subsequent text to enhance confidence estimation for the current sequence during inference. We also introduce three strategies for identifying optimal positions to perform confidence estimation within the generation process. Extensive experiments on multiple benchmark datasets demonstrate that FineCE consistently outperforms existing classical confidence estimation methods. Our code and all baselines used in the paper are available on GitHub.