Onderzoek naar mensgericht onzekerheidsbeheer in grote taalmodellen

Investigating Human-Aligned Large Language Model Uncertainty

March 16, 2025

Auteurs: Kyle Moore, Jesse Roberts, Daryl Watson, Pamela Wisniewski

cs.AI

Samenvatting

Recent werk heeft geprobeerd de onzekerheid van grote taalmodelen te kwantificeren om modelcontrole te vergemakkelijken en het gebruikersvertrouwen te moduleren. Eerdere werken richten zich op maatstaven van onzekerheid die theoretisch onderbouwd zijn of het gemiddelde openlijke gedrag van het model weerspiegelen. In dit werk onderzoeken we een verscheidenheid aan onzekerheidsmaatstaven om maatstaven te identificeren die correleren met onzekerheid op groepsniveau bij mensen. We ontdekken dat Bayesiaanse maatstaven en een variant op entropiemaatstaven, top-k entropie, over het algemeen overeenkomen met menselijk gedrag als functie van de modelgrootte. We constateren dat sommige sterke maatstaven in menselijke gelijkenis afnemen met de modelgrootte, maar door middel van meervoudige lineaire regressie vinden we dat het combineren van meerdere onzekerheidsmaatstaven vergelijkbare menselijke afstemming biedt met verminderde afhankelijkheid van de grootte.

English

Recent work has sought to quantify large language model uncertainty to facilitate model control and modulate user trust. Previous works focus on measures of uncertainty that are theoretically grounded or reflect the average overt behavior of the model. In this work, we investigate a variety of uncertainty measures, in order to identify measures that correlate with human group-level uncertainty. We find that Bayesian measures and a variation on entropy measures, top-k entropy, tend to agree with human behavior as a function of model size. We find that some strong measures decrease in human-similarity with model size, but, by multiple linear regression, we find that combining multiple uncertainty measures provide comparable human-alignment with reduced size-dependency.