Schätzung von Wissen in großen Sprachmodellen ohne Erzeugung eines einzelnen Tokens.

Estimating Knowledge in Large Language Models Without Generating a Single Token

June 18, 2024

Autoren: Daniela Gottesman, Mor Geva

cs.AI

Zusammenfassung

Zur Bewertung des Wissens in großen Sprachmodellen (LLMs) verwenden aktuelle Methoden Abfragen des Modells und bewerten dann die generierten Antworten. In dieser Arbeit stellen wir die Frage, ob die Bewertung erfolgen kann, bevor das Modell Text generiert hat. Konkret geht es darum, abzuschätzen, wie gut ein Modell über eine bestimmte Entität informiert ist, nur anhand seiner internen Berechnungen. Wir untersuchen diese Frage anhand von zwei Aufgaben: Gegeben eine bestimmte Entität, soll das Ziel sein, (a) die Fähigkeit des Modells vorherzusagen, allgemeine Fragen über die Entität zu beantworten, und (b) die Faktentreue der vom Modell über die Entität generierten Antworten. Experimente mit verschiedenen LLMs zeigen, dass KEEN, eine einfache Sonde, die über interne Entitätsrepräsentationen trainiert wurde, bei beiden Aufgaben erfolgreich ist - was stark mit der QA-Genauigkeit des Modells pro Entität und FActScore korreliert, einer aktuellen Faktentreue-Metrik bei offener Generierung. Darüber hinaus passt sich KEEN natürlich dem Abschwächungsverhalten des Modells an und spiegelt treu Veränderungen im Wissensstand des Modells nach Feinabstimmung wider. Schließlich zeigen wir eine interpretierbarere, aber ebenso leistungsfähige Variante von KEEN, die eine kleine Menge von Tokens hervorhebt, die mit dem Wissensmangel des Modells korrelieren. Da KEEN einfach und leichtgewichtig ist, kann es genutzt werden, um Lücken und Cluster im Entitätswissen von LLMs zu identifizieren und Entscheidungen wie die Erweiterung von Abfragen mit Retrieval zu lenken.

English

To evaluate knowledge in large language models (LLMs), current methods query the model and then evaluate its generated responses. In this work, we ask whether evaluation can be done before the model has generated any text. Concretely, is it possible to estimate how knowledgeable a model is about a certain entity, only from its internal computation? We study this question with two tasks: given a subject entity, the goal is to predict (a) the ability of the model to answer common questions about the entity, and (b) the factuality of responses generated by the model about the entity. Experiments with a variety of LLMs show that KEEN, a simple probe trained over internal subject representations, succeeds at both tasks - strongly correlating with both the QA accuracy of the model per-subject and FActScore, a recent factuality metric in open-ended generation. Moreover, KEEN naturally aligns with the model's hedging behavior and faithfully reflects changes in the model's knowledge after fine-tuning. Lastly, we show a more interpretable yet equally performant variant of KEEN, which highlights a small set of tokens that correlates with the model's lack of knowledge. Being simple and lightweight, KEEN can be leveraged to identify gaps and clusters of entity knowledge in LLMs, and guide decisions such as augmenting queries with retrieval.