LittleLearner: 교수법적으로 통제된 지식 노출 하의 언어 모델

초록

현대 언어 모델은 이질적인 웹 규모 텍스트 코퍼스로 학습된다. 그 결과, 관련 내용에 대한 사전 노출을 특성화하기 어렵기 때문에 지식 및 기술 습득을 연구하는 것은 까다롭다. 이러한 문제를 해결하기 위해, 우리는 미국 초등학교 교육과정에 맞춰 선별되었으며 5학년 이상에서 가르치는 개념, 사실, 어휘를 명시적으로 배제한 880억 토큰 규모의 큐레이팅된 사전 학습 코퍼스인 LITTLECURRICULUM을 소개한다. LITTLECURRICULUM을 처음부터 학습한 50억 매개변수 LLM은 LITTLELEARNER를 산출하며, 이 모델은 개방형 평가를 수행할 수 있는 충분한 언어 능력을 갖추면서도 해석 가능한 교육과정 지침에 매핑되는 명확한 지식 및 능력 경계를 보여준다. 우리는 LITTLECURRICULUM과 LITTLELEARNER를 명확히 정의된 학습 범위 내에서 모델이 데이터를 어떻게 습득하고 표현하며 사용하는지 연구하기 위한 발달 제한적 샌드박스로 공개한다. 우리는 사후 학습과 맥락 내 학습을 통한 새로운 지식 주입에 관한 첫 번째 실험군에서 이 샌드박스의 유용성을 입증한다. 이러한 방법들은 LITTLELEARNER가 기존 지식을 더 잘 활용할 수 있게 하지만, 범위 밖의 능력을 끌어올리지는 않는다. 우리의 발견은 향후 연구를 위한 이 통제된 환경의 가치를 강조한다.

English

Modern language models are trained on heterogeneous web-scale text corpora. Consequently, studying knowledge and skill acquisition is difficult, as prior exposure to related content is hard to characterize. To address this challenge, we introduce LITTLECURRICULUM, a curated 88B-token pretraining corpus tailored to U.S. elementary school material, explicitly excluding concepts, facts, and vocabulary taught above Grade 5. Training a 5B-parameter LLM from scratch on LITTLECURRICULUM yields LITTLELEARNER, a model with sufficient language competence for open-ended evaluation, yet with clear knowledge and capability boundaries mapped to interpretable curriculum guidelines. We release LITTLECURRICULUM and LITTLELEARNER as a developmentally restricted sandbox to study how models acquire, represent, and use data under a well-defined training scope. We illustrate the sandbox's utility in a first suite of experiments on injecting new knowledge through post-training and in-context learning. These methods let LITTLELEARNER better utilize existing knowledge, but do not raise out-of-scope capabilities. Our findings underscore the value of this controlled environment for future investigations.