NAACL: RAG 시스템에서 LLM을 위한 잡음 인식 언어적 신뢰도 보정

초록

대규모 언어 모델(LLM)을 중대 사실 기반 영역에 배포하기 위해서는 모델의 신뢰도를 정확히 평가하는 것이 필수적입니다. 검색 증강 생성(RAG)이 근거 강화를 위해 널리 채택되고 있지만, RAG 환경에서의 신뢰도 보정(calibration)은 아직 제대로 이해되지 못하고 있습니다. 본 연구에서는 4가지 벤치마크에 걸친 체계적 실험을 통해 LLM이 검색된 노이즈 문맥으로 인해 낮은 보정 성능을 보인다는 사실을 확인했습니다. 구체적으로, 모순되거나 관련 없는 증거는 모델의 잘못된 확신을 과도하게 부풀려 심각한 과신(overconfidence)으로 이어지는 경향이 있습니다. 이를 해결하기 위해 우리는 노이즈 환경에서의 과신 문제를 해결하는 원칙적 기반을 마련하는 NAACL 규칙(Noise-AwAre Confidence CaLibration Rules)을 제안합니다. 나아가 이러한 규칙에 기반하여 약 2,000개의 HotpotQA 예제로부터 감독 신호를 종합하는 노이즈 인식 보정 프레임워크인 NAACL을 설계했습니다. 해당 데이터로 지도 미세 조정(SFT)을 수행함으로써, NAACL은 더 강력한 교사 모델에 의존하지 않고도 모델에 내재적인 노이즈 인식 능력을 부여합니다. 실험 결과, NAACL은 ECE 점수를 도메인 내에서 10.9%, 도메인 외에서 8.0% 개선하는 상당한 성능 향상을 보였습니다. 검색 노이즈와 언어적 보정 간의 격차를 해소함으로써, NAACL은 정확하면서도 인식론적으로 신뢰할 수 있는 LLM 개발의 길을 열어줍니다.

English

Accurately assessing model confidence is essential for deploying large language models (LLMs) in mission-critical factual domains. While retrieval-augmented generation (RAG) is widely adopted to improve grounding, confidence calibration in RAG settings remains poorly understood. We conduct a systematic study across four benchmarks, revealing that LLMs exhibit poor calibration performance due to noisy retrieved contexts. Specifically, contradictory or irrelevant evidence tends to inflate the model's false certainty, leading to severe overconfidence. To address this, we propose NAACL Rules (Noise-AwAre Confidence CaLibration Rules) to provide a principled foundation for resolving overconfidence under noise. We further design NAACL, a noise-aware calibration framework that synthesizes supervision from about 2K HotpotQA examples guided by these rules. By performing supervised fine-tuning (SFT) with this data, NAACL equips models with intrinsic noise awareness without relying on stronger teacher models. Empirical results show that NAACL yields substantial gains, improving ECE scores by 10.9% in-domain and 8.0% out-of-domain. By bridging the gap between retrieval noise and verbal calibration, NAACL paves the way for both accurate and epistemically reliable LLMs.

NAACL: RAG 시스템에서 LLM을 위한 잡음 인식 언어적 신뢰도 보정

NAACL: Noise-AwAre Verbal Confidence Calibration for LLMs in RAG Systems

초록

Support