LMEnt: 言語モデルの知識を分析するためのスイート ― 事前学習データから表現まで

LMEnt: A Suite for Analyzing Knowledge in Language Models from Pretraining Data to Representations

September 3, 2025

著者: Daniela Gottesman, Alon Gilae-Dotan, Ido Cohen, Yoav Gur-Arieh, Marius Mosbach, Ori Yoran, Mor Geva

cs.AI

要旨

言語モデル（LMs）は、世界に関する知識を必要とする実世界のアプリケーションをますます駆動している。しかし、モデルがデータを世界に関する知識や信念の表現に変換する内部プロセスは十分に理解されていない。これらのプロセスに対する洞察は、より一貫性があり、堅牢で完全な知識表現を持つLMsの開発への道を開く可能性がある。これらの問題を研究するために、我々はLMEntを紹介する。LMEntは、事前学習中のLMsにおける知識獲得を分析するためのスイートである。LMEntは以下の要素を提供する：（1）Wikipediaに基づく、エンティティ言及が完全に注釈された知識豊富な事前学習コーパス、（2）事前学習データに対するエンティティベースの検索方法で、従来のアプローチを最大80.4%上回る性能を発揮、（3）1Bパラメータと4Kの中間チェックポイントを持つ12の事前学習モデルで、知識ベンチマークにおいて人気のあるオープンソースモデルと同等の性能を発揮。これらのリソースを組み合わせることで、事前学習中のエンティティ言間と下流タスクのパフォーマンスとの関連性、および事前学習データに対する因果的介入の効果を分析するための制御された環境を提供する。我々は、チェックポイント間での知識獲得を研究することで、事実の頻度が鍵であるが、学習の傾向を完全には説明しないことを示す。LMEntを公開し、知識表現、可塑性、編集、帰属、学習ダイナミクスを含むLMsにおける知識の研究を支援する。

English

Language models (LMs) increasingly drive real-world applications that require world knowledge. However, the internal processes through which models turn data into representations of knowledge and beliefs about the world, are poorly understood. Insights into these processes could pave the way for developing LMs with knowledge representations that are more consistent, robust, and complete. To facilitate studying these questions, we present LMEnt, a suite for analyzing knowledge acquisition in LMs during pretraining. LMEnt introduces: (1) a knowledge-rich pretraining corpus, fully annotated with entity mentions, based on Wikipedia, (2) an entity-based retrieval method over pretraining data that outperforms previous approaches by as much as 80.4%, and (3) 12 pretrained models with up to 1B parameters and 4K intermediate checkpoints, with comparable performance to popular open-sourced models on knowledge benchmarks. Together, these resources provide a controlled environment for analyzing connections between entity mentions in pretraining and downstream performance, and the effects of causal interventions in pretraining data. We show the utility of LMEnt by studying knowledge acquisition across checkpoints, finding that fact frequency is key, but does not fully explain learning trends. We release LMEnt to support studies of knowledge in LMs, including knowledge representations, plasticity, editing, attribution, and learning dynamics.