生成AIの幻覚発生率の推定

Estimating the Hallucination Rate of Generative AI

June 11, 2024

著者: Andrew Jesson, Nicolas Beltran-Velez, Quentin Chu, Sweta Karlekar, Jannik Kossen, Yarin Gal, John P. Cunningham, David Blei

cs.AI

要旨

本研究は、生成AIを用いたインコンテキスト学習（ICL）におけるハルシネーション率の推定に関するものである。ICLでは、条件付き生成モデル（CGM）にデータセットをプロンプトとして与え、そのデータセットに基づいて予測を行うよう求められる。ICLのベイズ的解釈では、CGMが潜在パラメータとデータの未知のベイズモデルに対する事後予測分布を計算していると仮定する。この視点に基づき、ハルシネーションを、真の潜在パラメータの下で低確率となる生成予測と定義する。我々は、ICL問題（すなわち、CGM、データセット、予測質問）を入力として、CGMがハルシネーションを生成する確率を推定する新たな手法を開発した。この手法では、モデルからクエリと応答を生成し、その応答の対数確率を評価するだけでよい。我々は、大規模言語モデルを用いた合成回帰タスクおよび自然言語ICLタスクにおいて、この手法を実証的に評価した。

English

This work is about estimating the hallucination rate for in-context learning (ICL) with Generative AI. In ICL, a conditional generative model (CGM) is prompted with a dataset and asked to make a prediction based on that dataset. The Bayesian interpretation of ICL assumes that the CGM is calculating a posterior predictive distribution over an unknown Bayesian model of a latent parameter and data. With this perspective, we define a hallucination as a generated prediction that has low-probability under the true latent parameter. We develop a new method that takes an ICL problem -- that is, a CGM, a dataset, and a prediction question -- and estimates the probability that a CGM will generate a hallucination. Our method only requires generating queries and responses from the model and evaluating its response log probability. We empirically evaluate our method on synthetic regression and natural language ICL tasks using large language models.