Konfidenzschätzung für LLMs in Mehrschritt-Interaktionen

Confidence Estimation for LLMs in Multi-turn Interactions

January 5, 2026

papers.authors: Caiqi Zhang, Ruihan Yang, Xiaochen Zhu, Chengzu Li, Tiancheng Hu, Yijiang River Dong, Deqing Yang, Nigel Collier

cs.AI

papers.abstract

Während die Konfidenzschätzung ein vielversprechender Ansatz zur Minderung von Halluzinationen in großen Sprachmodellen (LLMs) ist, konzentriert sich die aktuelle Forschung überwiegend auf Einzelabfragen. Die Dynamik der Modellkonfidenz in mehrschrittigen Dialogen, bei denen sich Kontext akkumuliert und Mehrdeutigkeiten schrittweise aufgelöst werden, ist weitgehend unerforscht. Eine zuverlässige Konfidenzschätzung in Mehrschritt-Szenarien ist jedoch entscheidend für viele nachgelagerte Anwendungen, wie autonome Agenten und Human-in-the-Loop-Systeme. Diese Arbeit stellt die erste systematische Untersuchung der Konfidenzschätzung in mehrschrittigen Interaktionen vor und etabliert einen formalen Evaluierungsrahmen, der auf zwei zentralen Anforderungen basiert: kalibrierte Konfidenz pro Dialogschritt und Monotonie der Konfidenz bei zunehmender Informationsverfügbarkeit. Um dies zu ermöglichen, führen wir neuartige Metriken ein, darunter einen längennormierten Expected Calibration Error (InfoECE), sowie ein neues "Hinter-Guesser"-Paradigma zur Generierung kontrollierter Evaluierungsdatensätze. Unsere Experimente zeigen, dass weit verbreitete Konfidenztechniken in mehrschrittigen Dialogen mit Kalibrierung und Monotonie kämpfen. Wir schlagen P(Sufficient) vor, eine logit-basierte Sonde, die vergleichsweise bessere Leistung erzielt, auch wenn die Aufgabe bei weitem nicht als gelöst betrachtet werden kann. Unsere Arbeit liefert eine grundlegende Methodik für die Entwicklung zuverlässigerer und vertrauenswürdigerer Konversationsagenten.

English

While confidence estimation is a promising direction for mitigating hallucinations in Large Language Models (LLMs), current research dominantly focuses on single-turn settings. The dynamics of model confidence in multi-turn conversations, where context accumulates and ambiguity is progressively resolved, remain largely unexplored. Reliable confidence estimation in multi-turn settings is critical for many downstream applications, such as autonomous agents and human-in-the-loop systems. This work presents the first systematic study of confidence estimation in multi-turn interactions, establishing a formal evaluation framework grounded in two key desiderata: per-turn calibration and monotonicity of confidence as more information becomes available. To facilitate this, we introduce novel metrics, including a length-normalized Expected Calibration Error (InfoECE), and a new "Hinter-Guesser" paradigm for generating controlled evaluation datasets. Our experiments reveal that widely-used confidence techniques struggle with calibration and monotonicity in multi-turn dialogues. We propose P(Sufficient), a logit-based probe that achieves comparatively better performance, although the task remains far from solved. Our work provides a foundational methodology for developing more reliable and trustworthy conversational agents.