Het schatten van het hallucinatiepercentage van generatieve AI

Estimating the Hallucination Rate of Generative AI

June 11, 2024

Auteurs: Andrew Jesson, Nicolas Beltran-Velez, Quentin Chu, Sweta Karlekar, Jannik Kossen, Yarin Gal, John P. Cunningham, David Blei

cs.AI

Samenvatting

Dit werk gaat over het schatten van de hallucinatiegraad bij in-context learning (ICL) met generatieve AI. Bij ICL wordt een conditioneel generatief model (CGM) geprompt met een dataset en gevraagd om een voorspelling te doen op basis van die dataset. De Bayesiaanse interpretatie van ICL veronderstelt dat het CGM een posterior predictive distribution berekent over een onbekend Bayesiaans model van een latente parameter en data. Vanuit dit perspectief definiëren we een hallucinatie als een gegenereerde voorspelling die een lage waarschijnlijkheid heeft onder de werkelijke latente parameter. We ontwikkelen een nieuwe methode die een ICL-probleem neemt – dat wil zeggen, een CGM, een dataset en een voorspellingsvraag – en de waarschijnlijkheid schat dat een CGM een hallucinatie zal genereren. Onze methode vereist alleen het genereren van queries en antwoorden van het model en het evalueren van de log-waarschijnlijkheid van zijn antwoord. We evalueren onze methode empirisch op synthetische regressie- en natuurlijke taal-ICL-taken met behulp van grote taalmodellen.

English

This work is about estimating the hallucination rate for in-context learning (ICL) with Generative AI. In ICL, a conditional generative model (CGM) is prompted with a dataset and asked to make a prediction based on that dataset. The Bayesian interpretation of ICL assumes that the CGM is calculating a posterior predictive distribution over an unknown Bayesian model of a latent parameter and data. With this perspective, we define a hallucination as a generated prediction that has low-probability under the true latent parameter. We develop a new method that takes an ICL problem -- that is, a CGM, a dataset, and a prediction question -- and estimates the probability that a CGM will generate a hallucination. Our method only requires generating queries and responses from the model and evaluating its response log probability. We empirically evaluate our method on synthetic regression and natural language ICL tasks using large language models.