NAACL: Calibrazione della Fiducia Verbale Consapevole del Rumore per LLM nei Sistemi RAG
NAACL: Noise-AwAre Verbal Confidence Calibration for LLMs in RAG Systems
January 16, 2026
Autori: Jiayu Liu, Rui Wang, Qing Zong, Qingcheng Zeng, Tianshi Zheng, Haochen Shi, Dadi Guo, Baixuan Xu, Chunyang Li, Yangqiu Song
cs.AI
Abstract
Valutare accuratamente la fiducia del modello è essenziale per implementare modelli linguistici di grandi dimensioni (LLM) in domini fattuali critici. Sebbene la generazione aumentata dal recupero (RAG) sia ampiamente adottata per migliorare il grounding, la calibrazione della confidenza in contesti RAG rimane poco compresa. Conduriamo uno studio sistematico su quattro benchmark, rivelando che gli LLM mostrano scarse prestazioni di calibrazione a causa di contesti recuperati rumorosi. Nello specifico, evidenze contraddittorie o irrilevanti tendono a gonfiare la falsa certezza del modello, portando a una grave sovraffiducia. Per affrontare questo problema, proponiamo le Regole NAACL (Noise-AwAre Confidence CaLibration Rules) per fornire una base principiata per risolvere la sovraffiducia in presenza di rumore. Progettiamo inoltre NAACL, un framework di calibrazione consapevole del rumore che sintetizza supervisione da circa 2.000 esempi di HotpotQA guidato da queste regole. Eseguendo un fine-tuning supervisionato (SFT) con questi dati, NAACL fornisce ai modelli una consapevolezza intrinseca del rumore senza fare affidamento su modelli insegnanti più potenti. I risultati empirici mostrano che NAACL produce guadagni sostanziali, migliorando i punteggi ECE del 10,9% in-domain e dell'8,0% out-of-domain. Colmando il divario tra rumore nel recupero e calibrazione verbale, NAACL apre la strada a LLM sia accurati che epistemicamente affidabili.
English
Accurately assessing model confidence is essential for deploying large language models (LLMs) in mission-critical factual domains. While retrieval-augmented generation (RAG) is widely adopted to improve grounding, confidence calibration in RAG settings remains poorly understood. We conduct a systematic study across four benchmarks, revealing that LLMs exhibit poor calibration performance due to noisy retrieved contexts. Specifically, contradictory or irrelevant evidence tends to inflate the model's false certainty, leading to severe overconfidence. To address this, we propose NAACL Rules (Noise-AwAre Confidence CaLibration Rules) to provide a principled foundation for resolving overconfidence under noise. We further design NAACL, a noise-aware calibration framework that synthesizes supervision from about 2K HotpotQA examples guided by these rules. By performing supervised fine-tuning (SFT) with this data, NAACL equips models with intrinsic noise awareness without relying on stronger teacher models. Empirical results show that NAACL yields substantial gains, improving ECE scores by 10.9% in-domain and 8.0% out-of-domain. By bridging the gap between retrieval noise and verbal calibration, NAACL paves the way for both accurate and epistemically reliable LLMs.