LMEnt: Un conjunto de herramientas para analizar el conocimiento en modelos de lenguaje, desde los datos de preentrenamiento hasta las representaciones

LMEnt: A Suite for Analyzing Knowledge in Language Models from Pretraining Data to Representations

September 3, 2025

Autores: Daniela Gottesman, Alon Gilae-Dotan, Ido Cohen, Yoav Gur-Arieh, Marius Mosbach, Ori Yoran, Mor Geva

cs.AI

Resumen

Los modelos de lenguaje (LMs) impulsan cada vez más aplicaciones del mundo real que requieren conocimiento general. Sin embargo, los procesos internos a través de los cuales los modelos transforman los datos en representaciones de conocimiento y creencias sobre el mundo están poco comprendidos. Comprender estos procesos podría allanar el camino para desarrollar LMs con representaciones de conocimiento más consistentes, robustas y completas. Para facilitar el estudio de estas cuestiones, presentamos LMEnt, un conjunto de herramientas para analizar la adquisición de conocimiento en LMs durante el preentrenamiento. LMEnt introduce: (1) un corpus de preentrenamiento rico en conocimiento, completamente anotado con menciones de entidades, basado en Wikipedia, (2) un método de recuperación basado en entidades sobre los datos de preentrenamiento que supera a enfoques anteriores hasta en un 80.4%, y (3) 12 modelos preentrenados con hasta 1B de parámetros y 4K puntos de control intermedios, con un rendimiento comparable a modelos de código abierto populares en benchmarks de conocimiento. En conjunto, estos recursos proporcionan un entorno controlado para analizar las conexiones entre las menciones de entidades en el preentrenamiento y el rendimiento en tareas posteriores, así como los efectos de intervenciones causales en los datos de preentrenamiento. Demostramos la utilidad de LMEnt estudiando la adquisición de conocimiento a través de los puntos de control, encontrando que la frecuencia de los hechos es clave, pero no explica completamente las tendencias de aprendizaje. Publicamos LMEnt para apoyar estudios sobre el conocimiento en LMs, incluyendo representaciones de conocimiento, plasticidad, edición, atribución y dinámicas de aprendizaje.

English

Language models (LMs) increasingly drive real-world applications that require world knowledge. However, the internal processes through which models turn data into representations of knowledge and beliefs about the world, are poorly understood. Insights into these processes could pave the way for developing LMs with knowledge representations that are more consistent, robust, and complete. To facilitate studying these questions, we present LMEnt, a suite for analyzing knowledge acquisition in LMs during pretraining. LMEnt introduces: (1) a knowledge-rich pretraining corpus, fully annotated with entity mentions, based on Wikipedia, (2) an entity-based retrieval method over pretraining data that outperforms previous approaches by as much as 80.4%, and (3) 12 pretrained models with up to 1B parameters and 4K intermediate checkpoints, with comparable performance to popular open-sourced models on knowledge benchmarks. Together, these resources provide a controlled environment for analyzing connections between entity mentions in pretraining and downstream performance, and the effects of causal interventions in pretraining data. We show the utility of LMEnt by studying knowledge acquisition across checkpoints, finding that fact frequency is key, but does not fully explain learning trends. We release LMEnt to support studies of knowledge in LMs, including knowledge representations, plasticity, editing, attribution, and learning dynamics.