Exploration de l'incertitude des grands modèles de langage alignés sur l'humain

Investigating Human-Aligned Large Language Model Uncertainty

March 16, 2025

Auteurs: Kyle Moore, Jesse Roberts, Daryl Watson, Pamela Wisniewski

cs.AI

Résumé

Les travaux récents ont cherché à quantifier l'incertitude des grands modèles de langage afin de faciliter le contrôle des modèles et de moduler la confiance des utilisateurs. Les études précédentes se concentrent sur des mesures d'incertitude théoriquement fondées ou reflétant le comportement moyen observable du modèle. Dans ce travail, nous explorons une variété de mesures d'incertitude afin d'identifier celles qui corrèlent avec l'incertitude au niveau des groupes humains. Nous constatons que les mesures bayésiennes et une variante des mesures d'entropie, l'entropie top-k, tendent à s'aligner sur le comportement humain en fonction de la taille du modèle. Nous observons que certaines mesures robustes voient leur similarité avec les humains diminuer avec l'augmentation de la taille du modèle, mais, grâce à une régression linéaire multiple, nous constatons que la combinaison de plusieurs mesures d'incertitude offre un alignement comparable avec les humains tout en réduisant la dépendance à la taille.

English

Recent work has sought to quantify large language model uncertainty to facilitate model control and modulate user trust. Previous works focus on measures of uncertainty that are theoretically grounded or reflect the average overt behavior of the model. In this work, we investigate a variety of uncertainty measures, in order to identify measures that correlate with human group-level uncertainty. We find that Bayesian measures and a variation on entropy measures, top-k entropy, tend to agree with human behavior as a function of model size. We find that some strong measures decrease in human-similarity with model size, but, by multiple linear regression, we find that combining multiple uncertainty measures provide comparable human-alignment with reduced size-dependency.