Geloven of niet geloven in je LLM

Samenvatting

We onderzoeken onzekerheidskwantificering in grote taalmodellen (LLMs), met als doel te identificeren wanneer de onzekerheid in antwoorden op een vraag groot is. We beschouwen tegelijkertijd zowel epistemische als aleatorische onzekerheden, waarbij de eerste voortkomt uit een gebrek aan kennis over de waarheid (zoals over feiten of de taal), en de laatste voortkomt uit onherleidbare willekeur (zoals meerdere mogelijke antwoorden). In het bijzonder leiden we een informatie-theoretische metriek af die betrouwbaar kan detecteren wanneer alleen de epistemische onzekerheid groot is, in welk geval de uitvoer van het model onbetrouwbaar is. Deze conditie kan worden berekend op basis van alleen de uitvoer van het model, verkregen door middel van een speciale iteratieve prompting gebaseerd op eerdere antwoorden. Zo'n kwantificering maakt het bijvoorbeeld mogelijk om hallucinaties (gevallen waarin de epistemische onzekerheid hoog is) te detecteren in zowel enkelvoudige als meervoudige antwoorden. Dit staat in contrast met veel standaard onzekerheidskwantificeringsstrategieën (zoals het afkappen van de log-waarschijnlijkheid van een antwoord) waarbij hallucinaties in het geval van meerdere antwoorden niet kunnen worden gedetecteerd. We voeren een reeks experimenten uit die het voordeel van onze formulering aantonen. Bovendien werpen onze onderzoeken enig licht op hoe de waarschijnlijkheden die door een LLM aan een bepaalde uitvoer worden toegekend, kunnen worden versterkt door iteratieve prompting, wat mogelijk van onafhankelijk belang is.

English

We explore uncertainty quantification in large language models (LLMs), with the goal to identify when uncertainty in responses given a query is large. We simultaneously consider both epistemic and aleatoric uncertainties, where the former comes from the lack of knowledge about the ground truth (such as about facts or the language), and the latter comes from irreducible randomness (such as multiple possible answers). In particular, we derive an information-theoretic metric that allows to reliably detect when only epistemic uncertainty is large, in which case the output of the model is unreliable. This condition can be computed based solely on the output of the model obtained simply by some special iterative prompting based on the previous responses. Such quantification, for instance, allows to detect hallucinations (cases when epistemic uncertainty is high) in both single- and multi-answer responses. This is in contrast to many standard uncertainty quantification strategies (such as thresholding the log-likelihood of a response) where hallucinations in the multi-answer case cannot be detected. We conduct a series of experiments which demonstrate the advantage of our formulation. Further, our investigations shed some light on how the probabilities assigned to a given output by an LLM can be amplified by iterative prompting, which might be of independent interest.

Geloven of niet geloven in je LLM

To Believe or Not to Believe Your LLM

Samenvatting

Support