NAACL: RAGシステムにおける大規模言語モデルのためのノイズ認識言語的信頼度校正

NAACL: Noise-AwAre Verbal Confidence Calibration for LLMs in RAG Systems

January 16, 2026

著者: Jiayu Liu, Rui Wang, Qing Zong, Qingcheng Zeng, Tianshi Zheng, Haochen Shi, Dadi Guo, Baixuan Xu, Chunyang Li, Yangqiu Song

cs.AI

要旨

大規模言語モデル（LLM）をミッションクリティカルな事実領域に導入するには、モデルの信頼度を正確に評価することが不可欠である。 Retrieval-Augmented Generation（RAG）は接地性の向上に広く採用されているが、RAG環境下での信頼度校正の理解は依然として不十分である。 我々は4つのベンチマークで体系的調査を実施し、LLMがノイズの多い検索された文脈により校正性能が低いことを明らかにした。具体的には、矛盾した証拠や無関係な証拠がモデルの誤った確信を膨らませ、深刻な過信を引き起こす傾向がある。 この問題に対処するため、我々はノイズ下での過信解決の原理的基盤を提供するNAACL Rules（Noise-AwAre Confidence CaLibration Rules）を提案する。 さらにこれらの規則に基づき、約2,000のHotpotQA事例から監督信号を合成するノイズ対応校正フレームワークNAACLを設計した。 このデータを用いた教師ありファインチューニング（SFT）により、NAACLはより強力な教師モデルに依存せずに本質的なノイズ認識能力をモデルに付与する。 実証結果では、NAACLが大きな改善をもたらし、ECEスコアをインサイドで10.9%、アウトサイドで8.0%向上させることが示された。 検索ノイズと言語的校正の間のギャップを埋めることで、NAACLは正確かつ認識論的に信頼できるLLMへの道を開くものである。

English

Accurately assessing model confidence is essential for deploying large language models (LLMs) in mission-critical factual domains. While retrieval-augmented generation (RAG) is widely adopted to improve grounding, confidence calibration in RAG settings remains poorly understood. We conduct a systematic study across four benchmarks, revealing that LLMs exhibit poor calibration performance due to noisy retrieved contexts. Specifically, contradictory or irrelevant evidence tends to inflate the model's false certainty, leading to severe overconfidence. To address this, we propose NAACL Rules (Noise-AwAre Confidence CaLibration Rules) to provide a principled foundation for resolving overconfidence under noise. We further design NAACL, a noise-aware calibration framework that synthesizes supervision from about 2K HotpotQA examples guided by these rules. By performing supervised fine-tuning (SFT) with this data, NAACL equips models with intrinsic noise awareness without relying on stronger teacher models. Empirical results show that NAACL yields substantial gains, improving ECE scores by 10.9% in-domain and 8.0% out-of-domain. By bridging the gap between retrieval noise and verbal calibration, NAACL paves the way for both accurate and epistemically reliable LLMs.