Investigando a Incerteza de Modelos de Linguagem de Grande Escala Alinhados com Humanos

Investigating Human-Aligned Large Language Model Uncertainty

March 16, 2025

Autores: Kyle Moore, Jesse Roberts, Daryl Watson, Pamela Wisniewski

cs.AI

Resumo

Trabalhos recentes têm buscado quantificar a incerteza dos modelos de linguagem de grande escala para facilitar o controle do modelo e modular a confiança do usuário. Estudos anteriores concentram-se em medidas de incerteza que são teoricamente fundamentadas ou refletem o comportamento médio observável do modelo. Neste trabalho, investigamos uma variedade de medidas de incerteza, com o objetivo de identificar medidas que se correlacionem com a incerteza em nível de grupo humano. Descobrimos que medidas bayesianas e uma variação das medidas de entropia, a entropia top-k, tendem a concordar com o comportamento humano em função do tamanho do modelo. Observamos que algumas medidas robustas diminuem em similaridade humana com o aumento do tamanho do modelo, mas, por meio de regressão linear múltipla, descobrimos que a combinação de múltiplas medidas de incerteza oferece alinhamento comparável com o comportamento humano com dependência reduzida do tamanho.

English

Recent work has sought to quantify large language model uncertainty to facilitate model control and modulate user trust. Previous works focus on measures of uncertainty that are theoretically grounded or reflect the average overt behavior of the model. In this work, we investigate a variety of uncertainty measures, in order to identify measures that correlate with human group-level uncertainty. We find that Bayesian measures and a variation on entropy measures, top-k entropy, tend to agree with human behavior as a function of model size. We find that some strong measures decrease in human-similarity with model size, but, by multiple linear regression, we find that combining multiple uncertainty measures provide comparable human-alignment with reduced size-dependency.