Was lernen Sprachmodelle und wann? Die Hypothese des impliziten Lehrplans

Zusammenfassung

Große Sprachmodelle (LLMs) können bemerkenswert komplexe Aufgaben bewältigen, doch die feinen Details, wie diese Fähigkeiten während des Pre-Trainings entstehen, bleiben weitgehend unverstanden. Skalierungsgesetze für den Validierungsverlust zeigen uns, wie sehr sich ein Modell mit zusätzlicher Rechenleistung verbessert, aber nicht, welche Fähigkeiten es in welcher Reihenfolge erwirbt. Um dies zu beheben, stellen wir die Hypothese des impliziten Curriculums auf: Das Pre-Training folgt einem kompositionellen und vorhersagbaren Curriculum, das über Modelle und Datenmischungen hinweg konsistent ist. Wir testen dies, indem wir eine Reihe einfacher, zusammensetzbarer Aufgaben entwerfen, die Bereiche wie Retrieval, morphologische Transformationen, Koreferenz, logisches Schließen und Mathematik abdecken. Mithilfe dieser Aufgaben verfolgen wir die Entstehungspunkte über vier Modellfamilien hinweg, die Größen von 410M bis 13B Parametern umfassen. Wir stellen fest, dass die Reihenfolge, in der Modelle festgelegte Genauigkeitsschwellenwerte erreichen (Emergence Order), auffallend konsistent ist (ρ = 0,81 über 45 Modellpaare), und dass zusammengesetzte Aufgaben meist nach ihren Komponentenaufgaben entstehen. Des Weiteren finden wir, dass diese Struktur in den Modellrepräsentationen kodiert ist: Aufgaben mit ähnlichen Funktionsvektor-Repräsentationen tendieren auch dazu, ähnliche Trainingsverläufe zu zeigen. Indem wir den Raum der Repräsentationen nutzen, der sich aus unserem Aufgabensatz ableitet, können wir die Trainingsverläufe einfacher, zurückgehaltener kompositioneller Aufgaben während des gesamten Pre-Trainings effektiv vorhersagen (R² = 0,68–0,84 über Modelle hinweg), ohne sie zuvor evaluiert zu haben. Zusammengenommen deuten diese Ergebnisse darauf hin, dass das Pre-Training strukturierter abläuft, als Verlustkurven erkennen lassen: Fähigkeiten entstehen in einer kompositionellen Reihenfolge, die über Modelle hinweg konsistent ist und aus ihren internen Zuständen ablesbar ist.

English

Large language models (LLMs) can perform remarkably complex tasks, yet the fine-grained details of how these capabilities emerge during pretraining remain poorly understood. Scaling laws on validation loss tell us how much a model improves with additional compute, but not what skills it acquires in which order. To remedy this, we propose the Implicit Curriculum Hypothesis: pretraining follows a compositional and predictable curriculum across models and data mixtures. We test this by designing a suite of simple, composable tasks spanning retrieval, morphological transformations, coreference, logical reasoning, and mathematics. Using these tasks, we track emergence points across four model families spanning sizes from 410M-13B parameters. We find that emergence orderings of when models reach fixed accuracy thresholds are strikingly consistent (ρ= .81 across 45 model pairs), and that composite tasks most often emerge after their component tasks. Furthermore, we find that this structure is encoded in model representations: tasks with similar function vector representations also tend to follow similar trajectories in training. By using the space of representations derived from our task set, we can effectively predict the training trajectories of simple held-out compositional tasks throughout the course of pretraining (R^2 = .68-.84 across models) without previously evaluating them. Together, these results suggest that pretraining is more structured than loss curves reveal: skills emerge in a compositional order that is consistent across models and readable from their internals.

Was lernen Sprachmodelle und wann? Die Hypothese des impliziten Lehrplans

What do Language Models Learn and When? The Implicit Curriculum Hypothesis

Zusammenfassung

Support