LittleLearner: 教育的に制御された知識曝露下における言語モデル

要旨

現代の言語モデルは、異種混在するウェブ規模のテキストコーパスで学習される。そのため、事前に触れた関連コンテンツの特性把握が困難であり、知識・スキル獲得の研究は難しい。この課題に取り組むため、我々はLITTLECURRICULUMを導入する。これは、米国の小学校教材に特化した厳選88Bトークンの事前学習コーパスであり、5年生より上の学年で教えられる概念、事実、語彙を明示的に除外している。LITTLECURRICULUMを用いて5BパラメータのLLMをゼロから学習することで得られるLITTLELEARNERは、自由回答形式の評価に耐える十分な言語能力を持つ一方で、その知識と能力の境界は解釈可能なカリキュラム指針に明確に対応している。我々はLITTLECURRICULUMとLITTLELEARNERを、明確に定義された学習範囲のもとでモデルがデータをどのように獲得し、表現し、利用するかを研究するための発達制限付きサンドボックスとして公開する。本サンドボックスの有用性を示すため、ポストトレーニングおよびインコンテキスト学習による新知識の注入に関する最初の実験群を実施する。これらの手法によりLITTLELEARNERは既存知識をより有効に活用できるようになるが、範囲外の能力は向上しない。本研究の知見は、今後の研究における本制御環境の価値を強調するものである。

English

Modern language models are trained on heterogeneous web-scale text corpora. Consequently, studying knowledge and skill acquisition is difficult, as prior exposure to related content is hard to characterize. To address this challenge, we introduce LITTLECURRICULUM, a curated 88B-token pretraining corpus tailored to U.S. elementary school material, explicitly excluding concepts, facts, and vocabulary taught above Grade 5. Training a 5B-parameter LLM from scratch on LITTLECURRICULUM yields LITTLELEARNER, a model with sufficient language competence for open-ended evaluation, yet with clear knowledge and capability boundaries mapped to interpretable curriculum guidelines. We release LITTLECURRICULUM and LITTLELEARNER as a developmentally restricted sandbox to study how models acquire, represent, and use data under a well-defined training scope. We illustrate the sandbox's utility in a first suite of experiments on injecting new knowledge through post-training and in-context learning. These methods let LITTLELEARNER better utilize existing knowledge, but do not raise out-of-scope capabilities. Our findings underscore the value of this controlled environment for future investigations.