LMEnt: 사전 학습 데이터부터 표현까지 언어 모델의 지식을 분석하기 위한 도구 모음

초록

언어 모델(LMs)은 세계 지식을 요구하는 실제 응용 프로그램을 점점 더 주도하고 있다. 그러나 모델이 데이터를 세계에 대한 지식과 믿음의 표현으로 전환하는 내부 과정은 잘 이해되지 않고 있다. 이러한 과정에 대한 통찰은 더 일관적이고 견고하며 완전한 지식 표현을 가진 언어 모델을 개발하는 길을 열어줄 수 있다. 이러한 질문을 연구하기 위해, 우리는 사전 학습 중 언어 모델의 지식 습득을 분석하기 위한 도구인 LMEnt를 제시한다. LMEnt는 다음을 도입한다: (1) 위키백과를 기반으로 엔티티 언급이 완전히 주석 처리된 지식이 풍부한 사전 학습 코퍼스, (2) 이전 접근법보다 최대 80.4% 우수한 성능을 보이는 사전 학습 데이터에 대한 엔티티 기반 검색 방법, 그리고 (3) 지식 벤치마크에서 인기 있는 오픈소스 모델과 비슷한 성능을 보이는 최대 10억 개의 파라미터와 4,000개의 중간 체크포인트를 가진 12개의 사전 학습 모델. 이러한 자원들은 사전 학습에서의 엔티티 언급과 다운스트림 성능 간의 연결, 그리고 사전 학습 데이터에서의 인과적 개입의 효과를 분석하기 위한 통제된 환경을 제공한다. 우리는 체크포인트 간 지식 습득을 연구함으로써 LMEnt의 유용성을 보여주며, 사실의 빈도가 중요하지만 학습 추세를 완전히 설명하지는 않는다는 것을 발견했다. 우리는 LMEnt를 공개하여 지식 표현, 가소성, 편집, 귀속, 학습 역학을 포함한 언어 모델의 지식 연구를 지원한다.

English

Language models (LMs) increasingly drive real-world applications that require world knowledge. However, the internal processes through which models turn data into representations of knowledge and beliefs about the world, are poorly understood. Insights into these processes could pave the way for developing LMs with knowledge representations that are more consistent, robust, and complete. To facilitate studying these questions, we present LMEnt, a suite for analyzing knowledge acquisition in LMs during pretraining. LMEnt introduces: (1) a knowledge-rich pretraining corpus, fully annotated with entity mentions, based on Wikipedia, (2) an entity-based retrieval method over pretraining data that outperforms previous approaches by as much as 80.4%, and (3) 12 pretrained models with up to 1B parameters and 4K intermediate checkpoints, with comparable performance to popular open-sourced models on knowledge benchmarks. Together, these resources provide a controlled environment for analyzing connections between entity mentions in pretraining and downstream performance, and the effects of causal interventions in pretraining data. We show the utility of LMEnt by studying knowledge acquisition across checkpoints, finding that fact frequency is key, but does not fully explain learning trends. We release LMEnt to support studies of knowledge in LMs, including knowledge representations, plasticity, editing, attribution, and learning dynamics.

LMEnt: 사전 학습 데이터부터 표현까지 언어 모델의 지식을 분석하기 위한 도구 모음

LMEnt: A Suite for Analyzing Knowledge in Language Models from Pretraining Data to Representations

초록

Support