Верить или не верить вашему LLM

To Believe or Not to Believe Your LLM

June 4, 2024

Авторы: Yasin Abbasi Yadkori, Ilja Kuzborskij, András György, Csaba Szepesvári

cs.AI

Аннотация

Мы исследуем количественную оценку неопределенности в больших языковых моделях (LLM) с целью выявления моментов, когда неопределенность в ответах на запрос является значительной. Мы одновременно рассматриваем как эпистемическую, так и алеаторическую неопределенности, где первая происходит из недостатка знаний о истине (например, о фактах или языке), а вторая обусловлена неустранимой случайностью (например, наличием нескольких возможных ответов). В частности, мы вывели информационно-теоретическую метрику, которая позволяет надежно обнаруживать случаи, когда только эпистемическая неопределенность является значительной, в таких случаях вывод модели ненадежен. Это условие можно вычислить исключительно на основе вывода модели, полученного просто путем специального итеративного подталкивания на основе предыдущих ответов. Такая количественная оценка, например, позволяет обнаруживать галлюцинации (случаи, когда эпистемическая неопределенность высока) как в случае одного, так и нескольких ответов. Это в отличие от многих стандартных стратегий количественной оценки неопределенности (например, установка порога для логарифма правдоподобия ответа), где галлюцинации в случае нескольких ответов не могут быть обнаружены. Мы проводим серию экспериментов, которые демонстрируют преимущества нашего подхода. Кроме того, наши исследования проливают свет на то, как вероятности, присвоенные данному выводу LLM, могут быть усилены итеративным подталкиванием, что может представлять самостоятельный интерес.

English

We explore uncertainty quantification in large language models (LLMs), with the goal to identify when uncertainty in responses given a query is large. We simultaneously consider both epistemic and aleatoric uncertainties, where the former comes from the lack of knowledge about the ground truth (such as about facts or the language), and the latter comes from irreducible randomness (such as multiple possible answers). In particular, we derive an information-theoretic metric that allows to reliably detect when only epistemic uncertainty is large, in which case the output of the model is unreliable. This condition can be computed based solely on the output of the model obtained simply by some special iterative prompting based on the previous responses. Such quantification, for instance, allows to detect hallucinations (cases when epistemic uncertainty is high) in both single- and multi-answer responses. This is in contrast to many standard uncertainty quantification strategies (such as thresholding the log-likelihood of a response) where hallucinations in the multi-answer case cannot be detected. We conduct a series of experiments which demonstrate the advantage of our formulation. Further, our investigations shed some light on how the probabilities assigned to a given output by an LLM can be amplified by iterative prompting, which might be of independent interest.