생성형 AI의 환각 발생률 추정

Estimating the Hallucination Rate of Generative AI

June 11, 2024

저자: Andrew Jesson, Nicolas Beltran-Velez, Quentin Chu, Sweta Karlekar, Jannik Kossen, Yarin Gal, John P. Cunningham, David Blei

cs.AI

초록

이 연구는 생성형 AI를 활용한 문맥 학습(In-Context Learning, ICL)에서의 환각(hallucination) 발생률을 추정하는 것에 관한 것이다. ICL에서는 조건부 생성 모델(Conditional Generative Model, CGM)이 데이터셋을 입력받아 이를 기반으로 예측을 수행한다. ICL의 베이지안 해석은 CGM이 잠재 매개변수와 데이터에 대한 알려지지 않은 베이지안 모델의 사후 예측 분포를 계산한다고 가정한다. 이러한 관점에서, 우리는 환각을 실제 잠재 매개변수 하에서 낮은 확률을 가지는 생성된 예측으로 정의한다. 우리는 ICL 문제(즉, CGM, 데이터셋, 예측 질문)를 입력받아 CGM이 환각을 생성할 확률을 추정하는 새로운 방법을 개발한다. 우리의 방법은 모델로부터 질의와 응답을 생성하고, 그 응답의 로그 확률을 평가하는 것만으로도 충분하다. 우리는 이 방법을 대규모 언어 모델을 사용한 합성 회귀 및 자연어 ICL 작업에 대해 실증적으로 평가한다.

English

This work is about estimating the hallucination rate for in-context learning (ICL) with Generative AI. In ICL, a conditional generative model (CGM) is prompted with a dataset and asked to make a prediction based on that dataset. The Bayesian interpretation of ICL assumes that the CGM is calculating a posterior predictive distribution over an unknown Bayesian model of a latent parameter and data. With this perspective, we define a hallucination as a generated prediction that has low-probability under the true latent parameter. We develop a new method that takes an ICL problem -- that is, a CGM, a dataset, and a prediction question -- and estimates the probability that a CGM will generate a hallucination. Our method only requires generating queries and responses from the model and evaluating its response log probability. We empirically evaluate our method on synthetic regression and natural language ICL tasks using large language models.