Оценка знаний в больших языковых моделях без генерации единственного токена

Estimating Knowledge in Large Language Models Without Generating a Single Token

June 18, 2024

Авторы: Daniela Gottesman, Mor Geva

cs.AI

Аннотация

Для оценки знаний в больших языковых моделях (LLM) текущие методы запрашивают модель, а затем оценивают ее сгенерированные ответы. В данной работе мы задаемся вопросом, можно ли провести оценку до того, как модель сгенерирует какой-либо текст. Конкретно, возможно ли оценить, насколько модель обладает знаниями о конкретной сущности, исходя только из ее внутренних вычислений? Мы изучаем этот вопрос на двух задачах: при заданной сущности целью является предсказание (a) способности модели отвечать на общие вопросы о сущности и (b) достоверности ответов, сгенерированных моделью о сущности. Эксперименты с различными LLM показывают, что KEEN, простой зонд, обученный на внутренних представлениях сущностей, успешно справляется с обеими задачами - сильно коррелируя как с точностью ответов модели на вопросы по субъекту, так и с FActScore, недавним метрическим показателем достоверности в открытом генерировании. Более того, KEEN естественным образом соотносится с уклончивым поведением модели и точно отражает изменения в знаниях модели после донастройки. Наконец, мы показываем более интерпретируемый, но одинаково эффективный вариант KEEN, который выделяет небольшой набор токенов, коррелирующих с отсутствием знаний модели. Будучи простым и легким, KEEN может быть использован для выявления пробелов и кластеров знаний о сущностях в LLM и направлять решения, такие как дополнение запросов поиска.

English

To evaluate knowledge in large language models (LLMs), current methods query the model and then evaluate its generated responses. In this work, we ask whether evaluation can be done before the model has generated any text. Concretely, is it possible to estimate how knowledgeable a model is about a certain entity, only from its internal computation? We study this question with two tasks: given a subject entity, the goal is to predict (a) the ability of the model to answer common questions about the entity, and (b) the factuality of responses generated by the model about the entity. Experiments with a variety of LLMs show that KEEN, a simple probe trained over internal subject representations, succeeds at both tasks - strongly correlating with both the QA accuracy of the model per-subject and FActScore, a recent factuality metric in open-ended generation. Moreover, KEEN naturally aligns with the model's hedging behavior and faithfully reflects changes in the model's knowledge after fine-tuning. Lastly, we show a more interpretable yet equally performant variant of KEEN, which highlights a small set of tokens that correlates with the model's lack of knowledge. Being simple and lightweight, KEEN can be leveraged to identify gaps and clusters of entity knowledge in LLMs, and guide decisions such as augmenting queries with retrieval.