NAACL : Calibrage de Confiance Verbale Sensible au Bruit pour les LLM dans les Systèmes RAG
NAACL: Noise-AwAre Verbal Confidence Calibration for LLMs in RAG Systems
January 16, 2026
papers.authors: Jiayu Liu, Rui Wang, Qing Zong, Qingcheng Zeng, Tianshi Zheng, Haochen Shi, Dadi Guo, Baixuan Xu, Chunyang Li, Yangqiu Song
cs.AI
papers.abstract
L'évaluation précise de la confiance des modèles est essentielle pour le déploiement des grands modèles de langage (LLM) dans des domaines factuels critiques. Bien que la génération augmentée par retrieval (RAG) soit largement adoptée pour améliorer l'ancrage factuel, l'étalonnage de la confiance dans les configurations RAG reste mal compris. Nous menons une étude systématique sur quatre benchmarks, révélant que les LLM présentent de faibles performances d'étalonnage en raison du bruit dans les contextes récupérés. Plus précisément, des preuves contradictoires ou non pertinentes tendent à augmenter la fausse certitude du modèle, conduisant à une surconfiance prononcée. Pour y remédier, nous proposons les Règles NAACL (Noise-AwAre Confidence CaLibration Rules) pour établir un fondement méthodologique afin de résoudre la surconfiance en présence de bruit. Nous concevons ensuite NAACL, un cadre d'étalonnage prenant en compte le bruit, qui synthétise un apprentissage supervisé à partir d'environ 2 000 exemples HotpotQA guidés par ces règles. En réalisant un fine-tuning supervisé (SFT) avec ces données, NAACL dote les modèles d'une conscience intrinsèque du bruit sans dépendre de modèles enseignants plus performants. Les résultats empiriques montrent que NAACL apporte des gains substantiels, améliorant les scores ECE de 10,9 % en domaine interne et de 8,0 % hors domaine. En comblant l'écart entre le bruit de retrieval et l'étalonnage verbal, NAACL ouvre la voie à des LLM à la fois précis et épistémiquement fiables.
English
Accurately assessing model confidence is essential for deploying large language models (LLMs) in mission-critical factual domains. While retrieval-augmented generation (RAG) is widely adopted to improve grounding, confidence calibration in RAG settings remains poorly understood. We conduct a systematic study across four benchmarks, revealing that LLMs exhibit poor calibration performance due to noisy retrieved contexts. Specifically, contradictory or irrelevant evidence tends to inflate the model's false certainty, leading to severe overconfidence. To address this, we propose NAACL Rules (Noise-AwAre Confidence CaLibration Rules) to provide a principled foundation for resolving overconfidence under noise. We further design NAACL, a noise-aware calibration framework that synthesizes supervision from about 2K HotpotQA examples guided by these rules. By performing supervised fine-tuning (SFT) with this data, NAACL equips models with intrinsic noise awareness without relying on stronger teacher models. Empirical results show that NAACL yields substantial gains, improving ECE scores by 10.9% in-domain and 8.0% out-of-domain. By bridging the gap between retrieval noise and verbal calibration, NAACL paves the way for both accurate and epistemically reliable LLMs.