Estimation des connaissances dans les grands modèles de langage sans générer un seul jeton

Estimating Knowledge in Large Language Models Without Generating a Single Token

June 18, 2024

Auteurs: Daniela Gottesman, Mor Geva

cs.AI

Résumé

Pour évaluer les connaissances des grands modèles de langage (LLMs), les méthodes actuelles interrogent le modèle puis évaluent ses réponses générées. Dans ce travail, nous nous demandons si l'évaluation peut être effectuée avant que le modèle n'ait généré de texte. Concrètement, est-il possible d'estimer à quel point un modèle est informé sur une certaine entité, uniquement à partir de ses calculs internes ? Nous étudions cette question à travers deux tâches : étant donné une entité sujet, l'objectif est de prédire (a) la capacité du modèle à répondre à des questions courantes sur l'entité, et (b) la factualité des réponses générées par le modèle concernant l'entité. Les expériences menées avec une variété de LLMs montrent que KEEN, une sonde simple entraînée sur les représentations internes des sujets, réussit les deux tâches - en corrélant fortement à la fois avec la précision des réponses du modèle par sujet et avec FActScore, une métrique récente de factualité dans la génération ouverte. De plus, KEEN s'aligne naturellement avec le comportement de prudence du modèle et reflète fidèlement les changements dans les connaissances du modèle après un ajustement fin. Enfin, nous présentons une variante de KEEN plus interprétable tout aussi performante, qui met en évidence un petit ensemble de tokens corrélés avec le manque de connaissances du modèle. Étant simple et léger, KEEN peut être utilisé pour identifier les lacunes et les clusters de connaissances sur les entités dans les LLMs, et guider des décisions telles que l'augmentation des requêtes avec de la recherche d'information.

English

To evaluate knowledge in large language models (LLMs), current methods query the model and then evaluate its generated responses. In this work, we ask whether evaluation can be done before the model has generated any text. Concretely, is it possible to estimate how knowledgeable a model is about a certain entity, only from its internal computation? We study this question with two tasks: given a subject entity, the goal is to predict (a) the ability of the model to answer common questions about the entity, and (b) the factuality of responses generated by the model about the entity. Experiments with a variety of LLMs show that KEEN, a simple probe trained over internal subject representations, succeeds at both tasks - strongly correlating with both the QA accuracy of the model per-subject and FActScore, a recent factuality metric in open-ended generation. Moreover, KEEN naturally aligns with the model's hedging behavior and faithfully reflects changes in the model's knowledge after fine-tuning. Lastly, we show a more interpretable yet equally performant variant of KEEN, which highlights a small set of tokens that correlates with the model's lack of knowledge. Being simple and lightweight, KEEN can be leveraged to identify gaps and clusters of entity knowledge in LLMs, and guide decisions such as augmenting queries with retrieval.