単一のトークンも生成せずに大規模言語モデルの知識を推定する

Estimating Knowledge in Large Language Models Without Generating a Single Token

June 18, 2024

著者: Daniela Gottesman, Mor Geva

cs.AI

要旨

大規模言語モデル（LLM）の知識を評価するために、現在の手法ではモデルにクエリを投げ、その生成された応答を評価します。本研究では、モデルがテキストを生成する前に評価を行えるかどうかを問います。具体的には、モデルの内部計算のみから、特定のエンティティに関する知識量を推定することは可能でしょうか？この問いを2つのタスクを通じて検討します：与えられた主題エンティティについて、(a) モデルがそのエンティティに関する一般的な質問に答える能力を予測すること、および (b) モデルがそのエンティティについて生成する応答の事実性を予測することです。様々なLLMを用いた実験により、内部の主題表現を基に訓練されたシンプルなプローブであるKEENが、両タスクにおいて成功することが示されました。KEENは、モデルのQA精度（主題ごと）と、オープンエンド生成における最近の事実性指標であるFActScoreの両方と強い相関を示します。さらに、KEENはモデルのヘッジング行動と自然に整合し、ファインチューニング後のモデルの知識の変化を忠実に反映します。最後に、より解釈可能でありながら同等の性能を持つKEENのバリアントを示し、モデルの知識不足と相関する少数のトークンを強調します。シンプルで軽量なKEENは、LLMにおけるエンティティ知識のギャップやクラスターを特定し、検索を用いたクエリの拡充などの意思決定を導くために活用できます。

English

To evaluate knowledge in large language models (LLMs), current methods query the model and then evaluate its generated responses. In this work, we ask whether evaluation can be done before the model has generated any text. Concretely, is it possible to estimate how knowledgeable a model is about a certain entity, only from its internal computation? We study this question with two tasks: given a subject entity, the goal is to predict (a) the ability of the model to answer common questions about the entity, and (b) the factuality of responses generated by the model about the entity. Experiments with a variety of LLMs show that KEEN, a simple probe trained over internal subject representations, succeeds at both tasks - strongly correlating with both the QA accuracy of the model per-subject and FActScore, a recent factuality metric in open-ended generation. Moreover, KEEN naturally aligns with the model's hedging behavior and faithfully reflects changes in the model's knowledge after fine-tuning. Lastly, we show a more interpretable yet equally performant variant of KEEN, which highlights a small set of tokens that correlates with the model's lack of knowledge. Being simple and lightweight, KEEN can be leveraged to identify gaps and clusters of entity knowledge in LLMs, and guide decisions such as augmenting queries with retrieval.