Estimación de la Tasa de Alucinación en la Inteligencia Artificial Generativa

Estimating the Hallucination Rate of Generative AI

June 11, 2024

Autores: Andrew Jesson, Nicolas Beltran-Velez, Quentin Chu, Sweta Karlekar, Jannik Kossen, Yarin Gal, John P. Cunningham, David Blei

cs.AI

Resumen

Este trabajo trata sobre la estimación de la tasa de alucinación en el aprendizaje en contexto (ICL, por sus siglas en inglés) con IA generativa. En ICL, un modelo generativo condicional (CGM) es provisto con un conjunto de datos y se le solicita realizar una predicción basada en dicho conjunto. La interpretación bayesiana de ICL asume que el CGM está calculando una distribución predictiva posterior sobre un modelo bayesiano desconocido de un parámetro latente y los datos. Desde esta perspectiva, definimos una alucinación como una predicción generada que tiene una baja probabilidad bajo el verdadero parámetro latente. Desarrollamos un nuevo método que toma un problema de ICL —es decir, un CGM, un conjunto de datos y una pregunta de predicción— y estima la probabilidad de que un CGM genere una alucinación. Nuestro método solo requiere generar consultas y respuestas del modelo y evaluar la probabilidad logarítmica de sus respuestas. Evaluamos empíricamente nuestro método en tareas sintéticas de regresión y en tareas de ICL con lenguaje natural utilizando modelos de lenguaje de gran escala.

English

This work is about estimating the hallucination rate for in-context learning (ICL) with Generative AI. In ICL, a conditional generative model (CGM) is prompted with a dataset and asked to make a prediction based on that dataset. The Bayesian interpretation of ICL assumes that the CGM is calculating a posterior predictive distribution over an unknown Bayesian model of a latent parameter and data. With this perspective, we define a hallucination as a generated prediction that has low-probability under the true latent parameter. We develop a new method that takes an ICL problem -- that is, a CGM, a dataset, and a prediction question -- and estimates the probability that a CGM will generate a hallucination. Our method only requires generating queries and responses from the model and evaluating its response log probability. We empirically evaluate our method on synthetic regression and natural language ICL tasks using large language models.