Stimare la Conoscenza nei Modelli Linguistici di Grande Scala Senza Generare un Singolo Token

Estimating Knowledge in Large Language Models Without Generating a Single Token

June 18, 2024

Autori: Daniela Gottesman, Mor Geva

cs.AI

Abstract

Per valutare la conoscenza nei grandi modelli linguistici (LLM), i metodi attuali interrogano il modello e poi valutano le risposte generate. In questo lavoro, ci chiediamo se la valutazione possa essere effettuata prima che il modello abbia generato qualsiasi testo. Nello specifico, è possibile stimare quanto un modello sia informato su una determinata entità, solo a partire dai suoi calcoli interni? Studiamo questa domanda con due compiti: data un'entità soggetto, l'obiettivo è prevedere (a) la capacità del modello di rispondere a domande comuni sull'entità, e (b) la veridicità delle risposte generate dal modello riguardo all'entità. Esperimenti con una varietà di LLM dimostrano che KEEN, una semplice sonda addestrata sulle rappresentazioni interne del soggetto, riesce in entrambi i compiti, mostrando una forte correlazione sia con l'accuratezza delle risposte del modello per soggetto, sia con FActScore, una recente metrica di veridicità nella generazione aperta. Inoltre, KEEN si allinea naturalmente con il comportamento di cautela del modello e riflette fedelmente i cambiamenti nella conoscenza del modello dopo il fine-tuning. Infine, mostriamo una variante di KEEN più interpretabile ma altrettanto performante, che evidenzia un piccolo insieme di token correlati con la mancanza di conoscenza del modello. Essendo semplice e leggero, KEEN può essere sfruttato per identificare lacune e cluster di conoscenza sulle entità nei LLM, e guidare decisioni come l'arricchimento delle query con il recupero di informazioni.

English

To evaluate knowledge in large language models (LLMs), current methods query the model and then evaluate its generated responses. In this work, we ask whether evaluation can be done before the model has generated any text. Concretely, is it possible to estimate how knowledgeable a model is about a certain entity, only from its internal computation? We study this question with two tasks: given a subject entity, the goal is to predict (a) the ability of the model to answer common questions about the entity, and (b) the factuality of responses generated by the model about the entity. Experiments with a variety of LLMs show that KEEN, a simple probe trained over internal subject representations, succeeds at both tasks - strongly correlating with both the QA accuracy of the model per-subject and FActScore, a recent factuality metric in open-ended generation. Moreover, KEEN naturally aligns with the model's hedging behavior and faithfully reflects changes in the model's knowledge after fine-tuning. Lastly, we show a more interpretable yet equally performant variant of KEEN, which highlights a small set of tokens that correlates with the model's lack of knowledge. Being simple and lightweight, KEEN can be leveraged to identify gaps and clusters of entity knowledge in LLMs, and guide decisions such as augmenting queries with retrieval.