NAACL: Calibração de Confiança Verbal Consciente do Ruído para LLMs em Sistemas RAG

NAACL: Noise-AwAre Verbal Confidence Calibration for LLMs in RAG Systems

January 16, 2026

Autores: Jiayu Liu, Rui Wang, Qing Zong, Qingcheng Zeng, Tianshi Zheng, Haochen Shi, Dadi Guo, Baixuan Xu, Chunyang Li, Yangqiu Song

cs.AI

Resumo

A avaliação precisa da confiança do modelo é essencial para a implantação de grandes modelos de linguagem (LLMs) em domínios factuais críticos. Embora a geração aumentada por recuperação (RAG) seja amplamente adotada para melhorar o embasamento, a calibração de confiança em configurações RAG permanece pouco compreendida. Realizamos um estudo sistemático em quatro benchmarks, revelando que os LLMs exibem um desempenho de calibração fraco devido a contextos recuperados ruidosos. Especificamente, evidências contraditórias ou irrelevantes tendem a inflar a falsa certeza do modelo, levando a uma severa superconfiança. Para resolver isso, propomos as Regras NAACL (Noise-AwAre Confidence CaLibration Rules) para fornecer uma base fundamentada para resolver a superconfiança sob ruído. Projetamos ainda o NAACL, uma estrutura de calibração consciente do ruído que sintetiza supervisão a partir de cerca de 2 mil exemplos do HotpotQA guiados por essas regras. Ao realizar ajuste fino supervisionado (SFT) com esses dados, o NAACL equipa os modelos com uma consciência intrínseca do ruído sem depender de modelos professores mais fortes. Resultados empíricos mostram que o NAACL produz ganhos substanciais, melhorando as pontuações ECE em 10,9% no domínio interno e 8,0% fora do domínio. Ao preencher a lacuna entre o ruído de recuperação e a calibração verbal, o NAACL abre caminho para LLMs precisos e epistemicamente confiáveis.

English

Accurately assessing model confidence is essential for deploying large language models (LLMs) in mission-critical factual domains. While retrieval-augmented generation (RAG) is widely adopted to improve grounding, confidence calibration in RAG settings remains poorly understood. We conduct a systematic study across four benchmarks, revealing that LLMs exhibit poor calibration performance due to noisy retrieved contexts. Specifically, contradictory or irrelevant evidence tends to inflate the model's false certainty, leading to severe overconfidence. To address this, we propose NAACL Rules (Noise-AwAre Confidence CaLibration Rules) to provide a principled foundation for resolving overconfidence under noise. We further design NAACL, a noise-aware calibration framework that synthesizes supervision from about 2K HotpotQA examples guided by these rules. By performing supervised fine-tuning (SFT) with this data, NAACL equips models with intrinsic noise awareness without relying on stronger teacher models. Empirical results show that NAACL yields substantial gains, improving ECE scores by 10.9% in-domain and 8.0% out-of-domain. By bridging the gap between retrieval noise and verbal calibration, NAACL paves the way for both accurate and epistemically reliable LLMs.