생성 과정에 주목하라: LLM 생성 과정에서의 세밀한 신뢰도 추정

초록

대규모 언어 모델(LLM)은 다양한 작업에서 뛰어난 성능을 보여주었지만, 근본적으로 자기 인식이 부족하며 종종 잘못된 예측에 대해 높은 신뢰 점수를 부여하는 과도한 자신감을 보이는 경우가 많습니다. 따라서 정확한 신뢰도 추정은 LLM이 생성한 출력의 신뢰성과 신뢰도를 향상시키는 데 매우 중요합니다. 그러나 기존의 접근 방식은 생성 과정 전반에 걸쳐 세밀하고 연속적인 신뢰도 추정을 제공하지 못하는 거친 점수 매커니즘의 한계를 가지고 있습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 텍스트 생성 과정에서 정확하고 세밀한 신뢰도 점수를 제공하는 새로운 신뢰도 추정 방법인 FineCE를 소개합니다. 구체적으로, 먼저 LLM 응답의 기본 확률 분포를 효과적으로 포착하는 훈련 데이터 구축을 위한 포괄적인 파이프라인을 개발하고, 이를 통해 임의의 텍스트 시퀀스에 대한 신뢰도 점수를 지도 학습 방식으로 예측하는 모델을 훈련시킵니다. 또한, 추론 과정에서 현재 시퀀스의 신뢰도 추정을 향상시키기 위해 후속 텍스트의 정보를 활용하는 역방향 신뢰도 통합(Backward Confidence Integration, BCI) 전략을 제안합니다. 더불어, 생성 과정 내에서 신뢰도 추정을 수행할 최적의 위치를 식별하기 위한 세 가지 전략을 소개합니다. 여러 벤치마크 데이터셋에서의 광범위한 실험을 통해 FineCE가 기존의 고전적인 신뢰도 추정 방법들을 지속적으로 능가함을 입증합니다. 본 논문에서 사용된 코드와 모든 베이스라인은 GitHub에서 확인할 수 있습니다.

English

While large language models (LLMs) have demonstrated remarkable performance across diverse tasks, they fundamentally lack self-awareness and frequently exhibit overconfidence, assigning high confidence scores to incorrect predictions. Accurate confidence estimation is therefore critical for enhancing the trustworthiness and reliability of LLM-generated outputs. However, existing approaches suffer from coarse-grained scoring mechanisms that fail to provide fine-grained, continuous confidence estimates throughout the generation process. To address these limitations, we introduce FineCE, a novel confidence estimation method that delivers accurate, fine-grained confidence scores during text generation. Specifically, we first develop a comprehensive pipeline for constructing training data that effectively captures the underlying probabilistic distribution of LLM responses, and then train a model to predict confidence scores for arbitrary text sequences in a supervised manner. Furthermore, we propose a Backward Confidence Integration (BCI) strategy that leverages information from the subsequent text to enhance confidence estimation for the current sequence during inference. We also introduce three strategies for identifying optimal positions to perform confidence estimation within the generation process. Extensive experiments on multiple benchmark datasets demonstrate that FineCE consistently outperforms existing classical confidence estimation methods. Our code and all baselines used in the paper are available on GitHub.

생성 과정에 주목하라: LLM 생성 과정에서의 세밀한 신뢰도 추정

Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation

초록

Support