Creer o no creer en tu LLM

To Believe or Not to Believe Your LLM

June 4, 2024

Autores: Yasin Abbasi Yadkori, Ilja Kuzborskij, András György, Csaba Szepesvári

cs.AI

Resumen

Exploramos la cuantificación de incertidumbre en modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés), con el objetivo de identificar cuándo la incertidumbre en las respuestas dadas una consulta es elevada. Consideramos simultáneamente tanto la incertidumbre epistémica como la aleatoria, donde la primera proviene de la falta de conocimiento sobre la verdad fundamental (como hechos o el lenguaje), y la segunda surge de la aleatoriedad irreducible (como múltiples respuestas posibles). En particular, derivamos una métrica basada en la teoría de la información que permite detectar de manera confiable cuándo solo la incertidumbre epistémica es grande, en cuyo caso la salida del modelo no es confiable. Esta condición puede calcularse únicamente a partir de la salida del modelo obtenida mediante un tipo especial de indicación iterativa basada en las respuestas previas. Dicha cuantificación, por ejemplo, permite detectar alucinaciones (casos en los que la incertidumbre epistémica es alta) tanto en respuestas de una sola opción como en respuestas múltiples. Esto contrasta con muchas estrategias estándar de cuantificación de incertidumbre (como establecer umbrales en la log-probabilidad de una respuesta), donde las alucinaciones en el caso de respuestas múltiples no pueden detectarse. Realizamos una serie de experimentos que demuestran la ventaja de nuestra formulación. Además, nuestras investigaciones arrojan luz sobre cómo las probabilidades asignadas a una salida dada por un LLM pueden amplificarse mediante indicación iterativa, lo cual podría ser de interés independiente.

English

We explore uncertainty quantification in large language models (LLMs), with the goal to identify when uncertainty in responses given a query is large. We simultaneously consider both epistemic and aleatoric uncertainties, where the former comes from the lack of knowledge about the ground truth (such as about facts or the language), and the latter comes from irreducible randomness (such as multiple possible answers). In particular, we derive an information-theoretic metric that allows to reliably detect when only epistemic uncertainty is large, in which case the output of the model is unreliable. This condition can be computed based solely on the output of the model obtained simply by some special iterative prompting based on the previous responses. Such quantification, for instance, allows to detect hallucinations (cases when epistemic uncertainty is high) in both single- and multi-answer responses. This is in contrast to many standard uncertainty quantification strategies (such as thresholding the log-likelihood of a response) where hallucinations in the multi-answer case cannot be detected. We conduct a series of experiments which demonstrate the advantage of our formulation. Further, our investigations shed some light on how the probabilities assigned to a given output by an LLM can be amplified by iterative prompting, which might be of independent interest.