인간 중심 대규모 언어 모델 불확실성 탐구

초록

최근 연구에서는 대형 언어 모델의 불확실성을 정량화하여 모델 제어를 용이하게 하고 사용자 신뢰를 조절하려는 시도가 이루어졌다. 기존 연구는 이론적으로 근거가 있거나 모델의 평균적인 외적 행동을 반영하는 불확실성 측정 방법에 초점을 맞추었다. 본 연구에서는 인간 집단 수준의 불확실성과 상관관계가 있는 측정 방법을 식별하기 위해 다양한 불확실성 측정 방법을 조사한다. 우리는 베이지안 측정 방법과 엔트로피 측정 방법의 변형인 상위-k 엔트로피가 모델 크기에 따른 함수로서 인간 행동과 일치하는 경향이 있음을 발견했다. 또한 일부 강력한 측정 방법은 모델 크기가 커짐에 따라 인간과의 유사성이 감소하지만, 다중 선형 회귀 분석을 통해 여러 불확실성 측정 방법을 결합하면 크기 의존성을 줄이면서도 인간과의 일치성을 유지할 수 있음을 확인했다.

English

Recent work has sought to quantify large language model uncertainty to facilitate model control and modulate user trust. Previous works focus on measures of uncertainty that are theoretically grounded or reflect the average overt behavior of the model. In this work, we investigate a variety of uncertainty measures, in order to identify measures that correlate with human group-level uncertainty. We find that Bayesian measures and a variation on entropy measures, top-k entropy, tend to agree with human behavior as a function of model size. We find that some strong measures decrease in human-similarity with model size, but, by multiple linear regression, we find that combining multiple uncertainty measures provide comparable human-alignment with reduced size-dependency.

인간 중심 대규모 언어 모델 불확실성 탐구

Investigating Human-Aligned Large Language Model Uncertainty

초록

Support