LMEnt: Een Suite voor het Analyseren van Kennis in Taalmodellen van Vooraf Getrainde Data tot Representaties

LMEnt: A Suite for Analyzing Knowledge in Language Models from Pretraining Data to Representations

September 3, 2025

Auteurs: Daniela Gottesman, Alon Gilae-Dotan, Ido Cohen, Yoav Gur-Arieh, Marius Mosbach, Ori Yoran, Mor Geva

cs.AI

Samenvatting

Taalmodellen (LMs) drijven steeds vaker real-world toepassingen aan die wereldkennis vereisen. De interne processen waarmee modellen data omzetten in representaties van kennis en overtuigingen over de wereld, zijn echter slecht begrepen. Inzichten in deze processen kunnen de weg vrijmaken voor de ontwikkeling van LMs met kennisrepresentaties die consistenter, robuuster en completer zijn. Om het bestuderen van deze vragen te vergemakkelijken, presenteren we LMEnt, een suite voor het analyseren van kennisverwerving in LMs tijdens het vooraf trainen. LMEnt introduceert: (1) een kennisrijk vooraf getraind corpus, volledig geannoteerd met entiteitsvermeldingen, gebaseerd op Wikipedia, (2) een entiteitsgebaseerde retrievamethode over vooraf getrainde data die eerdere benaderingen met maar liefst 80,4% overtreft, en (3) 12 vooraf getrainde modellen met tot 1B parameters en 4K tussenliggende checkpoints, met vergelijkbare prestaties als populaire open-source modellen op kennisbenchmarks. Samen bieden deze bronnen een gecontroleerde omgeving voor het analyseren van verbanden tussen entiteitsvermeldingen tijdens het vooraf trainen en downstream prestaties, en de effecten van causale interventies in vooraf getrainde data. We tonen het nut van LMEnt aan door kennisverwerving over checkpoints te bestuderen, waarbij we vaststellen dat feitenfrequentie cruciaal is, maar de leer trends niet volledig verklaart. We geven LMEnt vrij om studies naar kennis in LMs te ondersteunen, inclusief kennisrepresentaties, plasticiteit, bewerking, attributie en leer dynamieken.

English

Language models (LMs) increasingly drive real-world applications that require world knowledge. However, the internal processes through which models turn data into representations of knowledge and beliefs about the world, are poorly understood. Insights into these processes could pave the way for developing LMs with knowledge representations that are more consistent, robust, and complete. To facilitate studying these questions, we present LMEnt, a suite for analyzing knowledge acquisition in LMs during pretraining. LMEnt introduces: (1) a knowledge-rich pretraining corpus, fully annotated with entity mentions, based on Wikipedia, (2) an entity-based retrieval method over pretraining data that outperforms previous approaches by as much as 80.4%, and (3) 12 pretrained models with up to 1B parameters and 4K intermediate checkpoints, with comparable performance to popular open-sourced models on knowledge benchmarks. Together, these resources provide a controlled environment for analyzing connections between entity mentions in pretraining and downstream performance, and the effects of causal interventions in pretraining data. We show the utility of LMEnt by studying knowledge acquisition across checkpoints, finding that fact frequency is key, but does not fully explain learning trends. We release LMEnt to support studies of knowledge in LMs, including knowledge representations, plasticity, editing, attribution, and learning dynamics.