Оценка уровня галлюцинаций у генеративных ИИ.

Estimating the Hallucination Rate of Generative AI

June 11, 2024

Авторы: Andrew Jesson, Nicolas Beltran-Velez, Quentin Chu, Sweta Karlekar, Jannik Kossen, Yarin Gal, John P. Cunningham, David Blei

cs.AI

Аннотация

Данная работа посвящена оценке частоты галлюцинаций при контекстном обучении (ICL) с использованием Генеративного ИИ. В ICL условная генеративная модель (CGM) подается на вход набор данных и запрашивается для предсказания на основе этого набора данных. Байесовская интерпретация ICL предполагает, что CGM вычисляет апостериорное предиктивное распределение по неизвестной байесовской модели латентного параметра и данных. С этой точки зрения мы определяем галлюцинацию как сгенерированное предсказание с низкой вероятностью по истинному латентному параметру. Мы разрабатываем новый метод, который берет задачу ICL - CGM, набор данных и вопрос предсказания - и оценивает вероятность того, что CGM сгенерирует галлюцинацию. Наш метод требует только генерации запросов и ответов из модели и оценки логарифма вероятности ее ответа. Мы проводим эмпирическую оценку нашего метода на синтетических задачах регрессии и естественного языка ICL с использованием больших языковых моделей.

English

This work is about estimating the hallucination rate for in-context learning (ICL) with Generative AI. In ICL, a conditional generative model (CGM) is prompted with a dataset and asked to make a prediction based on that dataset. The Bayesian interpretation of ICL assumes that the CGM is calculating a posterior predictive distribution over an unknown Bayesian model of a latent parameter and data. With this perspective, we define a hallucination as a generated prediction that has low-probability under the true latent parameter. We develop a new method that takes an ICL problem -- that is, a CGM, a dataset, and a prediction question -- and estimates the probability that a CGM will generate a hallucination. Our method only requires generating queries and responses from the model and evaluating its response log probability. We empirically evaluate our method on synthetic regression and natural language ICL tasks using large language models.