믿을 것인가, 믿지 않을 것인가: 당신의 대형 언어 모델에 대한 고민

To Believe or Not to Believe Your LLM

June 4, 2024

저자: Yasin Abbasi Yadkori, Ilja Kuzborskij, András György, Csaba Szepesvári

cs.AI

초록

우리는 대규모 언어 모델(LLM)의 불확실성 정량화를 탐구하며, 주어진 질문에 대한 응답에서 불확실성이 클 때를 식별하는 것을 목표로 합니다. 우리는 인식론적 불확실성(epistemic uncertainty)과 우연적 불확실성(aleatoric uncertainty)을 동시에 고려하는데, 전자는 사실이나 언어에 대한 지식 부족에서 비롯되고, 후자는 축소할 수 없는 무작위성(예: 여러 가능한 답변)에서 비롯됩니다. 특히, 우리는 정보 이론적 메트릭을 도출하여 인식론적 불확실성만이 클 때를 신뢰성 있게 감지할 수 있도록 합니다. 이 경우 모델의 출력은 신뢰할 수 없습니다. 이러한 조건은 이전 응답을 기반으로 한 특수한 반복적 프롬프팅을 통해 얻은 모델의 출력만으로도 계산할 수 있습니다. 이러한 정량화는 예를 들어 단일 및 다중 응답에서 환각(hallucination, 인식론적 불확실성이 높은 경우)을 감지할 수 있게 합니다. 이는 다중 응답 사례에서 환각을 감지할 수 없는 많은 표준 불확실성 정량화 전략(예: 응답의 로그 가능도 임계값 설정)과 대조됩니다. 우리는 일련의 실험을 통해 우리의 접근 방식의 장점을 입증합니다. 또한, 우리의 연구는 LLM이 특정 출력에 할당한 확률이 반복적 프롬프팅을 통해 어떻게 증폭될 수 있는지에 대한 통찰을 제공하며, 이는 독자적인 관심사가 될 수 있습니다.

English

We explore uncertainty quantification in large language models (LLMs), with the goal to identify when uncertainty in responses given a query is large. We simultaneously consider both epistemic and aleatoric uncertainties, where the former comes from the lack of knowledge about the ground truth (such as about facts or the language), and the latter comes from irreducible randomness (such as multiple possible answers). In particular, we derive an information-theoretic metric that allows to reliably detect when only epistemic uncertainty is large, in which case the output of the model is unreliable. This condition can be computed based solely on the output of the model obtained simply by some special iterative prompting based on the previous responses. Such quantification, for instance, allows to detect hallucinations (cases when epistemic uncertainty is high) in both single- and multi-answer responses. This is in contrast to many standard uncertainty quantification strategies (such as thresholding the log-likelihood of a response) where hallucinations in the multi-answer case cannot be detected. We conduct a series of experiments which demonstrate the advantage of our formulation. Further, our investigations shed some light on how the probabilities assigned to a given output by an LLM can be amplified by iterative prompting, which might be of independent interest.