大規模言語モデルのマルチターン対話における信頼度推定

要旨

大規模言語モデル（LLM）における幻覚を軽減する有望な方向性として信頼度推定が注目されているが、現在の研究は主に単一ターンの設定に焦点を当てている。文脈が蓄積され曖昧さが段階的に解消される対話型設定において、モデルの信頼度がどのように変動するかは、ほとんど解明されていない。マルチターン設定での信頼性の高い信頼度推定は、自律エージェントやヒューマンインザループシステムなどの多くの下流アプリケーションにとって極めて重要である。本研究は、マルチターン対話における信頼度推定に関する初の体系的な研究を提示し、以下の二つの重要な要請に基づく形式的な評価枠組みを確立する：ターンごとの較正、および情報量の増加に伴う信頼度の単調性。これを促進するため、長さ正規化期待較正誤差（InfoECE）などの新規指標と、制御された評価データセットを生成するための新たな「ヒンター・ゲッサー」パラダイムを導入する。実験結果から、広く用いられている信頼度技術の多くが、マルチターン対話において較正と単調性の面で課題を抱えることが明らかになった。我々は、ロジットベースのプローブであるP(Sufficient)を提案し、課題は未解決ながらも比較的良好な性能を達成する。本研究は、より信頼性の高い対話エージェントを開発するための基礎的方法論を提供するものである。

English

While confidence estimation is a promising direction for mitigating hallucinations in Large Language Models (LLMs), current research dominantly focuses on single-turn settings. The dynamics of model confidence in multi-turn conversations, where context accumulates and ambiguity is progressively resolved, remain largely unexplored. Reliable confidence estimation in multi-turn settings is critical for many downstream applications, such as autonomous agents and human-in-the-loop systems. This work presents the first systematic study of confidence estimation in multi-turn interactions, establishing a formal evaluation framework grounded in two key desiderata: per-turn calibration and monotonicity of confidence as more information becomes available. To facilitate this, we introduce novel metrics, including a length-normalized Expected Calibration Error (InfoECE), and a new "Hinter-Guesser" paradigm for generating controlled evaluation datasets. Our experiments reveal that widely-used confidence techniques struggle with calibration and monotonicity in multi-turn dialogues. We propose P(Sufficient), a logit-based probe that achieves comparatively better performance, although the task remains far from solved. Our work provides a foundational methodology for developing more reliable and trustworthy conversational agents.

大規模言語モデルのマルチターン対話における信頼度推定

Confidence Estimation for LLMs in Multi-turn Interactions

要旨

Support