Croire ou ne pas croire votre modèle de langage

To Believe or Not to Believe Your LLM

June 4, 2024

Auteurs: Yasin Abbasi Yadkori, Ilja Kuzborskij, András György, Csaba Szepesvári

cs.AI

Résumé

Nous explorons la quantification de l'incertitude dans les grands modèles de langage (LLMs), dans le but d'identifier quand l'incertitude dans les réponses à une requête est élevée. Nous considérons simultanément les incertitudes épistémique et aléatoire, où la première provient du manque de connaissance sur la vérité terrain (comme les faits ou la langue), et la seconde provient d'une randomisation irréductible (comme plusieurs réponses possibles). En particulier, nous dérivons une métrique informationnelle qui permet de détecter de manière fiable quand seule l'incertitude épistémique est élevée, auquel cas la sortie du modèle est peu fiable. Cette condition peut être calculée uniquement sur la base de la sortie du modèle obtenue par un simple incitatif itératif spécial basé sur les réponses précédentes. Une telle quantification, par exemple, permet de détecter les hallucinations (cas où l'incertitude épistémique est élevée) dans les réponses à une ou plusieurs réponses. Cela contraste avec de nombreuses stratégies standard de quantification de l'incertitude (comme le seuillage de la log-vraisemblance d'une réponse) où les hallucinations dans le cas multi-réponses ne peuvent pas être détectées. Nous menons une série d'expériences qui démontrent l'avantage de notre formulation. De plus, nos investigations éclairent la manière dont les probabilités assignées à une sortie donnée par un LLM peuvent être amplifiées par un incitatif itératif, ce qui pourrait présenter un intérêt indépendant.

English

We explore uncertainty quantification in large language models (LLMs), with the goal to identify when uncertainty in responses given a query is large. We simultaneously consider both epistemic and aleatoric uncertainties, where the former comes from the lack of knowledge about the ground truth (such as about facts or the language), and the latter comes from irreducible randomness (such as multiple possible answers). In particular, we derive an information-theoretic metric that allows to reliably detect when only epistemic uncertainty is large, in which case the output of the model is unreliable. This condition can be computed based solely on the output of the model obtained simply by some special iterative prompting based on the previous responses. Such quantification, for instance, allows to detect hallucinations (cases when epistemic uncertainty is high) in both single- and multi-answer responses. This is in contrast to many standard uncertainty quantification strategies (such as thresholding the log-likelihood of a response) where hallucinations in the multi-answer case cannot be detected. We conduct a series of experiments which demonstrate the advantage of our formulation. Further, our investigations shed some light on how the probabilities assigned to a given output by an LLM can be amplified by iterative prompting, which might be of independent interest.