Estimativa da Taxa de Alucinação em Inteligência Artificial Generativa

Estimating the Hallucination Rate of Generative AI

June 11, 2024

Autores: Andrew Jesson, Nicolas Beltran-Velez, Quentin Chu, Sweta Karlekar, Jannik Kossen, Yarin Gal, John P. Cunningham, David Blei

cs.AI

Resumo

Este trabalho trata da estimativa da taxa de alucinação no aprendizado em contexto (ICL, do inglês *in-context learning*) com IA Generativa. No ICL, um modelo generativo condicional (CGM, do inglês *conditional generative model*) é estimulado com um conjunto de dados e solicitado a fazer uma previsão com base nesse conjunto. A interpretação bayesiana do ICL assume que o CGM está calculando uma distribuição preditiva posterior sobre um modelo bayesiano desconhecido de um parâmetro latente e dos dados. Sob essa perspectiva, definimos uma alucinação como uma previsão gerada que possui baixa probabilidade sob o verdadeiro parâmetro latente. Desenvolvemos um novo método que toma um problema de ICL — ou seja, um CGM, um conjunto de dados e uma questão de previsão — e estima a probabilidade de que um CGM gere uma alucinação. Nosso método requer apenas a geração de consultas e respostas do modelo e a avaliação da probabilidade logarítmica de suas respostas. Avaliamos empiricamente nosso método em tarefas sintéticas de regressão e de ICL em linguagem natural utilizando modelos de linguagem de grande escala.

English

This work is about estimating the hallucination rate for in-context learning (ICL) with Generative AI. In ICL, a conditional generative model (CGM) is prompted with a dataset and asked to make a prediction based on that dataset. The Bayesian interpretation of ICL assumes that the CGM is calculating a posterior predictive distribution over an unknown Bayesian model of a latent parameter and data. With this perspective, we define a hallucination as a generated prediction that has low-probability under the true latent parameter. We develop a new method that takes an ICL problem -- that is, a CGM, a dataset, and a prediction question -- and estimates the probability that a CGM will generate a hallucination. Our method only requires generating queries and responses from the model and evaluating its response log probability. We empirically evaluate our method on synthetic regression and natural language ICL tasks using large language models.