Estimación del Conocimiento en Modelos de Lenguaje de Gran Escala Sin Generar un Solo Token

Estimating Knowledge in Large Language Models Without Generating a Single Token

June 18, 2024

Autores: Daniela Gottesman, Mor Geva

cs.AI

Resumen

Para evaluar el conocimiento en los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés), los métodos actuales consultan al modelo y luego evalúan sus respuestas generadas. En este trabajo, nos preguntamos si la evaluación puede realizarse antes de que el modelo haya generado cualquier texto. Concretamente, ¿es posible estimar cuánto sabe un modelo sobre una entidad determinada, únicamente a partir de su computación interna? Estudiamos esta pregunta con dos tareas: dada una entidad sujeto, el objetivo es predecir (a) la capacidad del modelo para responder preguntas comunes sobre la entidad, y (b) la factualidad de las respuestas generadas por el modelo sobre la entidad. Los experimentos con una variedad de LLMs muestran que KEEN, una sonda simple entrenada sobre representaciones internas del sujeto, tiene éxito en ambas tareas, correlacionándose fuertemente tanto con la precisión en preguntas y respuestas (QA) del modelo por sujeto como con FActScore, una métrica reciente de factualidad en generación de texto abierto. Además, KEEN se alinea naturalmente con el comportamiento de precaución del modelo y refleja fielmente los cambios en el conocimiento del modelo después del ajuste fino. Por último, mostramos una variante de KEEN más interpretable pero igualmente eficaz, que destaca un pequeño conjunto de tokens que se correlaciona con la falta de conocimiento del modelo. Al ser simple y ligero, KEEN puede aprovecharse para identificar brechas y agrupaciones de conocimiento sobre entidades en los LLMs, y guiar decisiones como aumentar las consultas con recuperación de información.

English

To evaluate knowledge in large language models (LLMs), current methods query the model and then evaluate its generated responses. In this work, we ask whether evaluation can be done before the model has generated any text. Concretely, is it possible to estimate how knowledgeable a model is about a certain entity, only from its internal computation? We study this question with two tasks: given a subject entity, the goal is to predict (a) the ability of the model to answer common questions about the entity, and (b) the factuality of responses generated by the model about the entity. Experiments with a variety of LLMs show that KEEN, a simple probe trained over internal subject representations, succeeds at both tasks - strongly correlating with both the QA accuracy of the model per-subject and FActScore, a recent factuality metric in open-ended generation. Moreover, KEEN naturally aligns with the model's hedging behavior and faithfully reflects changes in the model's knowledge after fine-tuning. Lastly, we show a more interpretable yet equally performant variant of KEEN, which highlights a small set of tokens that correlates with the model's lack of knowledge. Being simple and lightweight, KEEN can be leveraged to identify gaps and clusters of entity knowledge in LLMs, and guide decisions such as augmenting queries with retrieval.