言語モデルは何を、いつ学ぶのか？暗黙のカリキュラム仮説

要旨

大規模言語モデル（LLM）は非常に複雑なタスクを遂行できるが、その能力が事前学習中にどのように出現するかの微細な詳細は、未だ十分に解明されていない。検証損失におけるスケーリング則は、計算資源の増加に伴うモデルの改善度合いを示すが、どのような技能がどの順序で獲得されるかは教えてくれない。この問題を解決するため、我々は「暗黙的カリキュラム仮説」を提案する：事前学習は、モデルやデータ混合を超えて、合成的かつ予測可能なカリキュラムに従って進行する、という仮説である。我々はこれを検証するため、検索、形態的変換、共参照、論理的推論、数学にわたる単純で合成可能なタスク群を設計した。これらのタスクを用いて、410Mから13Bパラメータに及ぶ4つのモデルファミリーにわたって、能力の出現ポイントを追跡した。その結果、モデルが一定の精度閾値に達する時期の出現順序は驚くほど一貫しており（45のモデルペア間でρ=0.81）、複合タスクはその構成要素タスクの後に出現することが最も多いことがわかった。さらに、この構造はモデルの表現内に符号化されていることも明らかになった：機能ベクトル表現が類似するタスクは、学習においても類似した軌跡を辿る傾向がある。我々のタスクセットから導出された表現空間を用いることで、事前学習の過程全体を通じて、未評価の単純な合成的タスクの学習軌跡を効果的に予測できる（モデル間でR^2 = 0.68-0.84）。これらの結果を総合すると、事前学習は損失曲線が示す以上に構造化されていることが示唆される。すなわち、技能は合成的な順序で出現し、その順序はモデル間で一貫しており、モデルの内部状態から読み取ることが可能なのである。

English

Large language models (LLMs) can perform remarkably complex tasks, yet the fine-grained details of how these capabilities emerge during pretraining remain poorly understood. Scaling laws on validation loss tell us how much a model improves with additional compute, but not what skills it acquires in which order. To remedy this, we propose the Implicit Curriculum Hypothesis: pretraining follows a compositional and predictable curriculum across models and data mixtures. We test this by designing a suite of simple, composable tasks spanning retrieval, morphological transformations, coreference, logical reasoning, and mathematics. Using these tasks, we track emergence points across four model families spanning sizes from 410M-13B parameters. We find that emergence orderings of when models reach fixed accuracy thresholds are strikingly consistent (ρ= .81 across 45 model pairs), and that composite tasks most often emerge after their component tasks. Furthermore, we find that this structure is encoded in model representations: tasks with similar function vector representations also tend to follow similar trajectories in training. By using the space of representations derived from our task set, we can effectively predict the training trajectories of simple held-out compositional tasks throughout the course of pretraining (R^2 = .68-.84 across models) without previously evaluating them. Together, these results suggest that pretraining is more structured than loss curves reveal: skills emerge in a compositional order that is consistent across models and readable from their internals.

言語モデルは何を、いつ学ぶのか？暗黙のカリキュラム仮説

What do Language Models Learn and When? The Implicit Curriculum Hypothesis

要旨

Support