NAACL: Calibración de Confianza Verbal Consciente del Ruido para LLMs en Sistemas RAG
NAACL: Noise-AwAre Verbal Confidence Calibration for LLMs in RAG Systems
January 16, 2026
Autores: Jiayu Liu, Rui Wang, Qing Zong, Qingcheng Zeng, Tianshi Zheng, Haochen Shi, Dadi Guo, Baixuan Xu, Chunyang Li, Yangqiu Song
cs.AI
Resumen
Evaluar con precisión la confianza del modelo es esencial para implementar modelos de lenguaje a gran escala (LLM) en dominios factuales de misión crítica. Si bien la generación aumentada por recuperación (RAG) se adopta ampliamente para mejorar el fundamento, la calibración de la confianza en entornos RAG sigue siendo poco comprendida. Realizamos un estudio sistemático en cuatro benchmarks, revelando que los LLM exhiben un rendimiento de calibración deficiente debido a contextos recuperados ruidosos. Específicamente, la evidencia contradictoria o irrelevante tiende a inflar la falsa certeza del modelo, conduciendo a una severa sobreconfianza. Para abordar esto, proponemos las Reglas NAACL (Reglas de Calibración de Confianza Conscientes del Ruido) para proporcionar una base fundamentada para resolver la sobreconfianza bajo ruido. Además, diseñamos NAACL, un marco de calibración consciente del ruido que sintetiza supervisión a partir de aproximadamente 2K ejemplos de HotpotQA guiados por estas reglas. Al realizar un ajuste fino supervisado (SFT) con estos datos, NAACL dota a los modelos de una conciencia intrínseca del ruido sin depender de modelos maestro más potentes. Los resultados empíricos muestran que NAACL produce ganancias sustanciales, mejorando las puntuaciones ECE en un 10.9% dentro del dominio y un 8.0% fuera del dominio. Al cerrar la brecha entre el ruido de recuperación y la calibración verbal, NAACL allana el camino para LLM tanto precisos como epistémicamente confiables.
English
Accurately assessing model confidence is essential for deploying large language models (LLMs) in mission-critical factual domains. While retrieval-augmented generation (RAG) is widely adopted to improve grounding, confidence calibration in RAG settings remains poorly understood. We conduct a systematic study across four benchmarks, revealing that LLMs exhibit poor calibration performance due to noisy retrieved contexts. Specifically, contradictory or irrelevant evidence tends to inflate the model's false certainty, leading to severe overconfidence. To address this, we propose NAACL Rules (Noise-AwAre Confidence CaLibration Rules) to provide a principled foundation for resolving overconfidence under noise. We further design NAACL, a noise-aware calibration framework that synthesizes supervision from about 2K HotpotQA examples guided by these rules. By performing supervised fine-tuning (SFT) with this data, NAACL equips models with intrinsic noise awareness without relying on stronger teacher models. Empirical results show that NAACL yields substantial gains, improving ECE scores by 10.9% in-domain and 8.0% out-of-domain. By bridging the gap between retrieval noise and verbal calibration, NAACL paves the way for both accurate and epistemically reliable LLMs.