人間志向の大規模言語モデルの不確実性の調査

Investigating Human-Aligned Large Language Model Uncertainty

March 16, 2025

著者: Kyle Moore, Jesse Roberts, Daryl Watson, Pamela Wisniewski

cs.AI

要旨

近年の研究では、大規模言語モデルの不確実性を定量化し、モデルの制御やユーザーの信頼調整を促進することが試みられています。これまでの研究では、理論的に裏付けられた不確実性の尺度や、モデルの平均的な表層的な振る舞いを反映する尺度に焦点が当てられてきました。本研究では、人間の集団レベルの不確実性と相関する尺度を特定するため、さまざまな不確実性尺度を調査します。その結果、ベイジアン尺度とエントロピー尺度の一種であるトップkエントロピーが、モデルサイズの関数として人間の振る舞いと一致する傾向があることがわかりました。また、いくつかの強力な尺度はモデルサイズが大きくなるにつれて人間との類似性が低下するものの、重回帰分析によって、複数の不確実性尺度を組み合わせることで、サイズ依存性を低減しつつ人間との整合性を維持できることが明らかになりました。

English

Recent work has sought to quantify large language model uncertainty to facilitate model control and modulate user trust. Previous works focus on measures of uncertainty that are theoretically grounded or reflect the average overt behavior of the model. In this work, we investigate a variety of uncertainty measures, in order to identify measures that correlate with human group-level uncertainty. We find that Bayesian measures and a variation on entropy measures, top-k entropy, tend to agree with human behavior as a function of model size. We find that some strong measures decrease in human-similarity with model size, but, by multiple linear regression, we find that combining multiple uncertainty measures provide comparable human-alignment with reduced size-dependency.