Investigando la Incertidumbre en Modelos de Lenguaje de Gran Escala Alineados con Humanos

Investigating Human-Aligned Large Language Model Uncertainty

March 16, 2025

Autores: Kyle Moore, Jesse Roberts, Daryl Watson, Pamela Wisniewski

cs.AI

Resumen

Trabajos recientes han buscado cuantificar la incertidumbre de los modelos de lenguaje de gran escala para facilitar el control del modelo y modular la confianza del usuario. Estudios previos se han centrado en medidas de incertidumbre que están teóricamente fundamentadas o reflejan el comportamiento promedio observable del modelo. En este trabajo, investigamos una variedad de medidas de incertidumbre con el objetivo de identificar aquellas que se correlacionan con la incertidumbre a nivel grupal en humanos. Descubrimos que las medidas bayesianas y una variación de las medidas de entropía, la entropía top-k, tienden a coincidir con el comportamiento humano en función del tamaño del modelo. Observamos que algunas medidas fuertes disminuyen en similitud humana con el aumento del tamaño del modelo, pero, mediante regresión lineal múltiple, encontramos que combinar múltiples medidas de incertidumbre proporciona una alineación comparable con los humanos con una menor dependencia del tamaño.

English

Recent work has sought to quantify large language model uncertainty to facilitate model control and modulate user trust. Previous works focus on measures of uncertainty that are theoretically grounded or reflect the average overt behavior of the model. In this work, we investigate a variety of uncertainty measures, in order to identify measures that correlate with human group-level uncertainty. We find that Bayesian measures and a variation on entropy measures, top-k entropy, tend to agree with human behavior as a function of model size. We find that some strong measures decrease in human-similarity with model size, but, by multiple linear regression, we find that combining multiple uncertainty measures provide comparable human-alignment with reduced size-dependency.