NAACL: ШумоУстойчивая Вербальная Калибровка Уверенности для Больших Языковых Моделей в Системах RAG
NAACL: Noise-AwAre Verbal Confidence Calibration for LLMs in RAG Systems
January 16, 2026
Авторы: Jiayu Liu, Rui Wang, Qing Zong, Qingcheng Zeng, Tianshi Zheng, Haochen Shi, Dadi Guo, Baixuan Xu, Chunyang Li, Yangqiu Song
cs.AI
Аннотация
Точная оценка уверенности модели крайне важна для развертывания больших языковых моделей (LLM) в ответственных фактологических областях. Хотя повсеместно используется генерация с усилением выборкой (RAG) для повышения обоснованности ответов, калибровка уверенности в условиях RAG остается малоизученной. Мы проводим систематическое исследование на четырех наборах данных, которое показывает, что LLM демонстрируют низкую калибровку из-за зашумленных извлеченных контекстов. В частности, противоречивые или нерелевантные свидетельства склонны завышать ложную уверенность модели, приводя к сильной переуверенности. Для решения этой проблемы мы предлагаем *Правила NAACL* (Noise-AwAre Confidence CaLibration Rules), чтобы заложить принципиальную основу для устранения переуверенности в условиях шума. Мы также разрабатываем NAACL, шум-осознающий фреймворк калибровки, который синтезирует разметку на основе примерно 2 тысяч примеров из HotpotQA, руководствуясь этими правилами. Выполняя контролируемое тонкое обучение (SFT) на этих данных, NAACL наделяет модели внутренней осведомленностью о шуме без опоры на более сильные модели-учителя. Эмпирические результаты показывают, что NAACL дает значительный прирост, улучшая показатели ECE на 10.9% внутри домена и на 8.0% вне домена. Преодолевая разрыв между шумом при выборке и вербальной калибровкой, NAACL прокладывает путь к созданию как точных, так и эпистемически надежных LLM.
English
Accurately assessing model confidence is essential for deploying large language models (LLMs) in mission-critical factual domains. While retrieval-augmented generation (RAG) is widely adopted to improve grounding, confidence calibration in RAG settings remains poorly understood. We conduct a systematic study across four benchmarks, revealing that LLMs exhibit poor calibration performance due to noisy retrieved contexts. Specifically, contradictory or irrelevant evidence tends to inflate the model's false certainty, leading to severe overconfidence. To address this, we propose NAACL Rules (Noise-AwAre Confidence CaLibration Rules) to provide a principled foundation for resolving overconfidence under noise. We further design NAACL, a noise-aware calibration framework that synthesizes supervision from about 2K HotpotQA examples guided by these rules. By performing supervised fine-tuning (SFT) with this data, NAACL equips models with intrinsic noise awareness without relying on stronger teacher models. Empirical results show that NAACL yields substantial gains, improving ECE scores by 10.9% in-domain and 8.0% out-of-domain. By bridging the gap between retrieval noise and verbal calibration, NAACL paves the way for both accurate and epistemically reliable LLMs.