Let op het generatieproces: Nauwkeurige betrouwbaarheidsschatting tijdens LLM-generatie

Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation

August 16, 2025

Auteurs: Jinyi Han, Tingyun Li, Shisong Chen, Jie Shi, Xinyi Wang, Guanglei Yue, Jiaqing Liang, Xin Lin, Liqian Wen, Zulong Chen, Yanghua Xiao

cs.AI

Samenvatting

Hoewel grote taalmodellen (LLMs) opmerkelijke prestaties hebben laten zien bij diverse taken, ontbreekt het hen fundamenteel aan zelfbewustzijn en vertonen ze vaak overmoedigheid door hoge betrouwbaarheidsscores toe te kennen aan incorrecte voorspellingen. Nauwkeurige betrouwbaarheidsschatting is daarom cruciaal om de betrouwbaarheid en betrouwbaarheid van door LLM gegenereerde uitvoer te verbeteren. Bestaande benaderingen lijden echter onder grofkorrelige scoringsmechanismen die geen fijnmazige, continue betrouwbaarheidsschattingen bieden gedurende het generatieproces. Om deze beperkingen aan te pakken, introduceren we FineCE, een nieuwe methode voor betrouwbaarheidsschatting die nauwkeurige, fijnmazige betrouwbaarheidsscores levert tijdens tekstgeneratie. Specifiek ontwikkelen we eerst een uitgebreide pijplijn voor het construeren van trainingsdata die effectief de onderliggende probabilistische verdeling van LLM-reacties vastlegt, en trainen we vervolgens een model om betrouwbaarheidsscores voor willekeurige tekstsequenties op een begeleide manier te voorspellen. Bovendien stellen we een Backward Confidence Integration (BCI)-strategie voor die informatie uit de daaropvolgende tekst benut om de betrouwbaarheidsschatting voor de huidige sequentie tijdens inferentie te verbeteren. We introduceren ook drie strategieën voor het identificeren van optimale posities om betrouwbaarheidsschatting uit te voeren binnen het generatieproces. Uitgebreide experimenten op meerdere benchmarkdatasets tonen aan dat FineCE consequent beter presteert dan bestaande klassieke methoden voor betrouwbaarheidsschatting. Onze code en alle referentiemethoden die in het artikel worden gebruikt, zijn beschikbaar op GitHub.

English

While large language models (LLMs) have demonstrated remarkable performance across diverse tasks, they fundamentally lack self-awareness and frequently exhibit overconfidence, assigning high confidence scores to incorrect predictions. Accurate confidence estimation is therefore critical for enhancing the trustworthiness and reliability of LLM-generated outputs. However, existing approaches suffer from coarse-grained scoring mechanisms that fail to provide fine-grained, continuous confidence estimates throughout the generation process. To address these limitations, we introduce FineCE, a novel confidence estimation method that delivers accurate, fine-grained confidence scores during text generation. Specifically, we first develop a comprehensive pipeline for constructing training data that effectively captures the underlying probabilistic distribution of LLM responses, and then train a model to predict confidence scores for arbitrary text sequences in a supervised manner. Furthermore, we propose a Backward Confidence Integration (BCI) strategy that leverages information from the subsequent text to enhance confidence estimation for the current sequence during inference. We also introduce three strategies for identifying optimal positions to perform confidence estimation within the generation process. Extensive experiments on multiple benchmark datasets demonstrate that FineCE consistently outperforms existing classical confidence estimation methods. Our code and all baselines used in the paper are available on GitHub.