Stimare il Tasso di Allucinazione dell'Intelligenza Artificiale Generativa

Estimating the Hallucination Rate of Generative AI

June 11, 2024

Autori: Andrew Jesson, Nicolas Beltran-Velez, Quentin Chu, Sweta Karlekar, Jannik Kossen, Yarin Gal, John P. Cunningham, David Blei

cs.AI

Abstract

Questo lavoro riguarda la stima del tasso di allucinazione nell'apprendimento in contesto (In-Context Learning, ICL) con modelli generativi di intelligenza artificiale. Nell'ICL, un modello generativo condizionale (Conditional Generative Model, CGM) viene stimolato con un dataset e invitato a fare una previsione basata su tale dataset. L'interpretazione bayesiana dell'ICL presuppone che il CGM stia calcolando una distribuzione predittiva a posteriori su un modello bayesiano sconosciuto di un parametro latente e dei dati. Con questa prospettiva, definiamo un'allucinazione come una previsione generata che ha una bassa probabilità sotto il vero parametro latente. Sviluppiamo un nuovo metodo che prende un problema di ICL -- ovvero un CGM, un dataset e una domanda di previsione -- e stima la probabilità che un CGM generi un'allucinazione. Il nostro metodo richiede solo la generazione di query e risposte dal modello e la valutazione della probabilità logaritmica delle sue risposte. Valutiamo empiricamente il nostro metodo su compiti di ICL sintetici di regressione e di linguaggio naturale utilizzando modelli linguistici di grandi dimensioni.

English

This work is about estimating the hallucination rate for in-context learning (ICL) with Generative AI. In ICL, a conditional generative model (CGM) is prompted with a dataset and asked to make a prediction based on that dataset. The Bayesian interpretation of ICL assumes that the CGM is calculating a posterior predictive distribution over an unknown Bayesian model of a latent parameter and data. With this perspective, we define a hallucination as a generated prediction that has low-probability under the true latent parameter. We develop a new method that takes an ICL problem -- that is, a CGM, a dataset, and a prediction question -- and estimates the probability that a CGM will generate a hallucination. Our method only requires generating queries and responses from the model and evaluating its response log probability. We empirically evaluate our method on synthetic regression and natural language ICL tasks using large language models.