Achten Sie auf den Generierungsprozess: Feingranulare Konfidenzschätzung während der LLM-Generierung

Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation

August 16, 2025

papers.authors: Jinyi Han, Tingyun Li, Shisong Chen, Jie Shi, Xinyi Wang, Guanglei Yue, Jiaqing Liang, Xin Lin, Liqian Wen, Zulong Chen, Yanghua Xiao

cs.AI

papers.abstract

Während große Sprachmodelle (LLMs) bemerkenswerte Leistungen bei vielfältigen Aufgaben gezeigt haben, fehlt ihnen grundlegend Selbstbewusstsein, und sie zeigen häufig Überzuversicht, indem sie hohe Konfidenzscores für falsche Vorhersagen vergeben. Eine genaue Konfidenzschätzung ist daher entscheidend, um die Vertrauenswürdigkeit und Zuverlässigkeit von LLM-generierten Ausgaben zu verbessern. Allerdings leiden bestehende Ansätze unter grobkörnigen Bewertungsmechanismen, die keine feinkörnigen, kontinuierlichen Konfidenzschätzungen während des Generierungsprozesses liefern können. Um diese Einschränkungen zu überwinden, stellen wir FineCE vor, eine neuartige Methode zur Konfidenzschätzung, die präzise, feinkörnige Konfidenzscores während der Textgenerierung liefert. Konkret entwickeln wir zunächst eine umfassende Pipeline zur Erstellung von Trainingsdaten, die die zugrunde liegende probabilistische Verteilung von LLM-Antworten effektiv erfasst, und trainieren dann ein Modell, um Konfidenzscores für beliebige Textsequenzen in einem überwachten Verfahren vorherzusagen. Darüber hinaus schlagen wir eine Strategie zur Rückwärts-Konfidenzintegration (BCI) vor, die Informationen aus dem nachfolgenden Text nutzt, um die Konfidenzschätzung für die aktuelle Sequenz während der Inferenz zu verbessern. Wir führen auch drei Strategien ein, um optimale Positionen für die Konfidenzschätzung innerhalb des Generierungsprozesses zu identifizieren. Umfangreiche Experimente auf mehreren Benchmark-Datensätzen zeigen, dass FineCE bestehende klassische Methoden zur Konfidenzschätzung durchweg übertrifft. Unser Code und alle in der Arbeit verwendeten Baselines sind auf GitHub verfügbar.

English

While large language models (LLMs) have demonstrated remarkable performance across diverse tasks, they fundamentally lack self-awareness and frequently exhibit overconfidence, assigning high confidence scores to incorrect predictions. Accurate confidence estimation is therefore critical for enhancing the trustworthiness and reliability of LLM-generated outputs. However, existing approaches suffer from coarse-grained scoring mechanisms that fail to provide fine-grained, continuous confidence estimates throughout the generation process. To address these limitations, we introduce FineCE, a novel confidence estimation method that delivers accurate, fine-grained confidence scores during text generation. Specifically, we first develop a comprehensive pipeline for constructing training data that effectively captures the underlying probabilistic distribution of LLM responses, and then train a model to predict confidence scores for arbitrary text sequences in a supervised manner. Furthermore, we propose a Backward Confidence Integration (BCI) strategy that leverages information from the subsequent text to enhance confidence estimation for the current sequence during inference. We also introduce three strategies for identifying optimal positions to perform confidence estimation within the generation process. Extensive experiments on multiple benchmark datasets demonstrate that FineCE consistently outperforms existing classical confidence estimation methods. Our code and all baselines used in the paper are available on GitHub.