Monitorare il Processo di Generazione: Stima Fine-Grana della Fiducia Durante la Generazione di LLM

Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation

August 16, 2025

Autori: Jinyi Han, Tingyun Li, Shisong Chen, Jie Shi, Xinyi Wang, Guanglei Yue, Jiaqing Liang, Xin Lin, Liqian Wen, Zulong Chen, Yanghua Xiao

cs.AI

Abstract

Sebbene i grandi modelli linguistici (LLM) abbiano dimostrato prestazioni notevoli in una vasta gamma di compiti, mancano fondamentalmente di autoconsapevolezza e mostrano frequentemente un'eccessiva sicurezza, attribuendo punteggi di fiducia elevati a previsioni errate. Una stima accurata della confidenza è quindi cruciale per migliorare l'affidabilità e la credibilità degli output generati dagli LLM. Tuttavia, gli approcci esistenti soffrono di meccanismi di valutazione grossolani che non riescono a fornire stime di confidenza continue e granulari durante il processo di generazione. Per affrontare queste limitazioni, introduciamo FineCE, un nuovo metodo di stima della confidenza che fornisce punteggi di confidenza accurati e granulari durante la generazione del testo. Nello specifico, sviluppiamo prima una pipeline completa per la costruzione di dati di addestramento che catturano efficacemente la distribuzione probabilistica sottostante delle risposte degli LLM, e poi addestriamo un modello per prevedere i punteggi di confidenza per sequenze di testo arbitrarie in modo supervisionato. Inoltre, proponiamo una strategia di Integrazione della Confidenza all'Indietro (BCI) che sfrutta le informazioni dal testo successivo per migliorare la stima della confidenza per la sequenza corrente durante l'inferenza. Introduciamo anche tre strategie per identificare le posizioni ottimali in cui eseguire la stima della confidenza all'interno del processo di generazione. Esperimenti estesi su più dataset di benchmark dimostrano che FineCE supera costantemente i metodi classici di stima della confidenza esistenti. Il nostro codice e tutte le baseline utilizzate nel documento sono disponibili su GitHub.

English

While large language models (LLMs) have demonstrated remarkable performance across diverse tasks, they fundamentally lack self-awareness and frequently exhibit overconfidence, assigning high confidence scores to incorrect predictions. Accurate confidence estimation is therefore critical for enhancing the trustworthiness and reliability of LLM-generated outputs. However, existing approaches suffer from coarse-grained scoring mechanisms that fail to provide fine-grained, continuous confidence estimates throughout the generation process. To address these limitations, we introduce FineCE, a novel confidence estimation method that delivers accurate, fine-grained confidence scores during text generation. Specifically, we first develop a comprehensive pipeline for constructing training data that effectively captures the underlying probabilistic distribution of LLM responses, and then train a model to predict confidence scores for arbitrary text sequences in a supervised manner. Furthermore, we propose a Backward Confidence Integration (BCI) strategy that leverages information from the subsequent text to enhance confidence estimation for the current sequence during inference. We also introduce three strategies for identifying optimal positions to perform confidence estimation within the generation process. Extensive experiments on multiple benchmark datasets demonstrate that FineCE consistently outperforms existing classical confidence estimation methods. Our code and all baselines used in the paper are available on GitHub.