LMEnt: Um Conjunto de Ferramentas para Analisar o Conhecimento em Modelos de Linguagem desde os Dados de Pré-treinamento até as Representações

LMEnt: A Suite for Analyzing Knowledge in Language Models from Pretraining Data to Representations

September 3, 2025

Autores: Daniela Gottesman, Alon Gilae-Dotan, Ido Cohen, Yoav Gur-Arieh, Marius Mosbach, Ori Yoran, Mor Geva

cs.AI

Resumo

Os modelos de linguagem (LMs) estão cada vez mais impulsionando aplicações do mundo real que exigem conhecimento sobre o mundo. No entanto, os processos internos pelos quais os modelos transformam dados em representações de conhecimento e crenças sobre o mundo são pouco compreendidos. Insights sobre esses processos podem abrir caminho para o desenvolvimento de LMs com representações de conhecimento mais consistentes, robustas e completas. Para facilitar o estudo dessas questões, apresentamos o LMEnt, um conjunto de ferramentas para analisar a aquisição de conhecimento em LMs durante o pré-treinamento. O LMEnt introduz: (1) um corpus de pré-treinamento rico em conhecimento, totalmente anotado com menções de entidades, baseado na Wikipedia, (2) um método de recuperação baseado em entidades sobre dados de pré-treinamento que supera abordagens anteriores em até 80,4%, e (3) 12 modelos pré-treinados com até 1 bilhão de parâmetros e 4 mil checkpoints intermediários, com desempenho comparável a modelos populares de código aberto em benchmarks de conhecimento. Juntos, esses recursos fornecem um ambiente controlado para analisar conexões entre menções de entidades no pré-treinamento e o desempenho em tarefas subsequentes, bem como os efeitos de intervenções causais nos dados de pré-treinamento. Demonstramos a utilidade do LMEnt ao estudar a aquisição de conhecimento em diferentes checkpoints, descobrindo que a frequência dos fatos é crucial, mas não explica completamente as tendências de aprendizado. Disponibilizamos o LMEnt para apoiar estudos sobre conhecimento em LMs, incluindo representações de conhecimento, plasticidade, edição, atribuição e dinâmicas de aprendizado.

English

Language models (LMs) increasingly drive real-world applications that require world knowledge. However, the internal processes through which models turn data into representations of knowledge and beliefs about the world, are poorly understood. Insights into these processes could pave the way for developing LMs with knowledge representations that are more consistent, robust, and complete. To facilitate studying these questions, we present LMEnt, a suite for analyzing knowledge acquisition in LMs during pretraining. LMEnt introduces: (1) a knowledge-rich pretraining corpus, fully annotated with entity mentions, based on Wikipedia, (2) an entity-based retrieval method over pretraining data that outperforms previous approaches by as much as 80.4%, and (3) 12 pretrained models with up to 1B parameters and 4K intermediate checkpoints, with comparable performance to popular open-sourced models on knowledge benchmarks. Together, these resources provide a controlled environment for analyzing connections between entity mentions in pretraining and downstream performance, and the effects of causal interventions in pretraining data. We show the utility of LMEnt by studying knowledge acquisition across checkpoints, finding that fact frequency is key, but does not fully explain learning trends. We release LMEnt to support studies of knowledge in LMs, including knowledge representations, plasticity, editing, attribution, and learning dynamics.