LMEnt: Набор инструментов для анализа знаний в языковых моделях от данных предварительного обучения до репрезентаций

LMEnt: A Suite for Analyzing Knowledge in Language Models from Pretraining Data to Representations

September 3, 2025

Авторы: Daniela Gottesman, Alon Gilae-Dotan, Ido Cohen, Yoav Gur-Arieh, Marius Mosbach, Ori Yoran, Mor Geva

cs.AI

Аннотация

Языковые модели (ЯМ) всё чаще используются в реальных приложениях, требующих знаний о мире. Однако внутренние процессы, посредством которых модели преобразуют данные в представления знаний и убеждений о мире, остаются малоизученными. Понимание этих процессов может открыть путь к разработке ЯМ с более согласованными, устойчивыми и полными представлениями знаний. Для облегчения изучения этих вопросов мы представляем LMEnt — набор инструментов для анализа приобретения знаний в ЯМ в процессе предварительного обучения. LMEnt включает: (1) корпус для предварительного обучения, богатый знаниями и полностью аннотированный упоминаниями сущностей, основанный на Wikipedia, (2) метод извлечения данных на основе сущностей, который превосходит предыдущие подходы на 80,4%, и (3) 12 предварительно обученных моделей с параметрами до 1 млрд и 4 тыс. промежуточных контрольных точек, демонстрирующих сопоставимую производительность с популярными открытыми моделями на тестах знаний. Вместе эти ресурсы предоставляют контролируемую среду для анализа связей между упоминаниями сущностей в предварительном обучении и последующей производительностью, а также эффектов причинных вмешательств в данные предварительного обучения. Мы демонстрируем полезность LMEnt, изучая приобретение знаний на различных контрольных точках, и обнаруживаем, что частота фактов играет ключевую роль, но не полностью объясняет тенденции обучения. Мы публикуем LMEnt для поддержки исследований знаний в ЯМ, включая представления знаний, пластичность, редактирование, атрибуцию и динамику обучения.

English

Language models (LMs) increasingly drive real-world applications that require world knowledge. However, the internal processes through which models turn data into representations of knowledge and beliefs about the world, are poorly understood. Insights into these processes could pave the way for developing LMs with knowledge representations that are more consistent, robust, and complete. To facilitate studying these questions, we present LMEnt, a suite for analyzing knowledge acquisition in LMs during pretraining. LMEnt introduces: (1) a knowledge-rich pretraining corpus, fully annotated with entity mentions, based on Wikipedia, (2) an entity-based retrieval method over pretraining data that outperforms previous approaches by as much as 80.4%, and (3) 12 pretrained models with up to 1B parameters and 4K intermediate checkpoints, with comparable performance to popular open-sourced models on knowledge benchmarks. Together, these resources provide a controlled environment for analyzing connections between entity mentions in pretraining and downstream performance, and the effects of causal interventions in pretraining data. We show the utility of LMEnt by studying knowledge acquisition across checkpoints, finding that fact frequency is key, but does not fully explain learning trends. We release LMEnt to support studies of knowledge in LMs, including knowledge representations, plasticity, editing, attribution, and learning dynamics.