ChatPaper.aiChatPaper

Esplorazione dell'Incertezza nei Modelli Linguistici di Grande Dimensione Allineati all'Umano

Investigating Human-Aligned Large Language Model Uncertainty

March 16, 2025
Autori: Kyle Moore, Jesse Roberts, Daryl Watson, Pamela Wisniewski
cs.AI

Abstract

Recenti lavori hanno cercato di quantificare l'incertezza dei modelli linguistici di grandi dimensioni per facilitare il controllo del modello e modulare la fiducia dell'utente. Studi precedenti si sono concentrati su misure di incertezza teoricamente fondate o che riflettono il comportamento medio esplicito del modello. In questo lavoro, indaghiamo una varietà di misure di incertezza, al fine di identificare quelle che correlano con l'incertezza a livello di gruppo umano. Scopriamo che le misure bayesiane e una variante delle misure di entropia, l'entropia top-k, tendono a concordare con il comportamento umano in funzione della dimensione del modello. Osserviamo che alcune misure forti diminuiscono nella somiglianza umana con l'aumentare della dimensione del modello, ma, attraverso una regressione lineare multipla, troviamo che combinare più misure di incertezza fornisce un allineamento comparabile con l'umano con una ridotta dipendenza dalla dimensione.
English
Recent work has sought to quantify large language model uncertainty to facilitate model control and modulate user trust. Previous works focus on measures of uncertainty that are theoretically grounded or reflect the average overt behavior of the model. In this work, we investigate a variety of uncertainty measures, in order to identify measures that correlate with human group-level uncertainty. We find that Bayesian measures and a variation on entropy measures, top-k entropy, tend to agree with human behavior as a function of model size. We find that some strong measures decrease in human-similarity with model size, but, by multiple linear regression, we find that combining multiple uncertainty measures provide comparable human-alignment with reduced size-dependency.
PDF42March 18, 2025