Estimation du taux d'hallucination de l'IA générative

Estimating the Hallucination Rate of Generative AI

June 11, 2024

Auteurs: Andrew Jesson, Nicolas Beltran-Velez, Quentin Chu, Sweta Karlekar, Jannik Kossen, Yarin Gal, John P. Cunningham, David Blei

cs.AI

Résumé

Ce travail porte sur l'estimation du taux d'hallucination dans l'apprentissage en contexte (ICL) avec l'IA générative. Dans l'ICL, un modèle génératif conditionnel (CGM) est sollicité avec un ensemble de données et invité à faire une prédiction basée sur cet ensemble. L'interprétation bayésienne de l'ICL suppose que le CGM calcule une distribution prédictive a posteriori sur un modèle bayésien inconnu d'un paramètre latent et des données. Dans cette perspective, nous définissons une hallucination comme une prédiction générée qui a une faible probabilité sous le vrai paramètre latent. Nous développons une nouvelle méthode qui prend un problème d'ICL — c'est-à-dire un CGM, un ensemble de données et une question de prédiction — et estime la probabilité qu'un CGM génère une hallucination. Notre méthode nécessite uniquement de générer des requêtes et des réponses à partir du modèle et d'évaluer la probabilité logarithmique de ses réponses. Nous évaluons empiriquement notre méthode sur des tâches d'ICL de régression synthétique et de traitement du langage naturel en utilisant des modèles de langage de grande taille.

English

This work is about estimating the hallucination rate for in-context learning (ICL) with Generative AI. In ICL, a conditional generative model (CGM) is prompted with a dataset and asked to make a prediction based on that dataset. The Bayesian interpretation of ICL assumes that the CGM is calculating a posterior predictive distribution over an unknown Bayesian model of a latent parameter and data. With this perspective, we define a hallucination as a generated prediction that has low-probability under the true latent parameter. We develop a new method that takes an ICL problem -- that is, a CGM, a dataset, and a prediction question -- and estimates the probability that a CGM will generate a hallucination. Our method only requires generating queries and responses from the model and evaluating its response log probability. We empirically evaluate our method on synthetic regression and natural language ICL tasks using large language models.