Que Apprennent les Modèles de Langage et Quand ? L’Hypothèse du Curriculum Implicite

Résumé

Les grands modèles de langage (LLM) peuvent accomplir des tâches remarquablement complexes, mais les détails fins de l'émergence de ces capacités durant le pré-entraînement restent mal compris. Les lois d'échelle sur la perte de validation nous indiquent comment un modèle s'améliore avec davantage de ressources computationnelles, mais pas quelles compétences il acquiert et dans quel ordre. Pour remédier à cela, nous proposons l'Hypothèse du Curriculum Implicite : le pré-entraînement suit un curriculum compositionnel et prévisible, quels que soient les modèles et les mélanges de données. Nous testons cette hypothèse en concevant une série de tâches simples et composables couvrant la recherche d'information, les transformations morphologiques, la coréférence, le raisonnement logique et les mathématiques. En utilisant ces tâches, nous suivons les points d'émergence à travers quatre familles de modèles, de tailles comprises entre 410 millions et 13 milliards de paramètres. Nous constatons que l'ordre d'émergence (le moment où les modèles atteignent des seuils de précision fixes) est remarquablement cohérent (ρ = 0,81 sur 45 paires de modèles), et que les tâches composites émergent le plus souvent après leurs tâches composantes. De plus, nous découvrons que cette structure est encodée dans les représentations du modèle : les tâches ayant des représentations vectorielles de fonction similaires tendent aussi à suivre des trajectoires d'apprentissage similaires. En utilisant l'espace des représentations issu de notre ensemble de tâches, nous pouvons prédire efficacement les trajectoires d'apprentissage de tâches compositionnelles simples non vues auparavant tout au long du pré-entraînement (R² = 0,68 - 0,84 selon les modèles), sans avoir besoin de les évaluer au préalable. Ensemble, ces résultats suggèrent que le pré-entraînement est plus structuré que ce que les courbes de perte ne le laissent paraître : les compétences émergent dans un ordre compositionnel qui est cohérent d'un modèle à l'autre et lisible depuis leurs représentations internes.

English

Large language models (LLMs) can perform remarkably complex tasks, yet the fine-grained details of how these capabilities emerge during pretraining remain poorly understood. Scaling laws on validation loss tell us how much a model improves with additional compute, but not what skills it acquires in which order. To remedy this, we propose the Implicit Curriculum Hypothesis: pretraining follows a compositional and predictable curriculum across models and data mixtures. We test this by designing a suite of simple, composable tasks spanning retrieval, morphological transformations, coreference, logical reasoning, and mathematics. Using these tasks, we track emergence points across four model families spanning sizes from 410M-13B parameters. We find that emergence orderings of when models reach fixed accuracy thresholds are strikingly consistent (ρ= .81 across 45 model pairs), and that composite tasks most often emerge after their component tasks. Furthermore, we find that this structure is encoded in model representations: tasks with similar function vector representations also tend to follow similar trajectories in training. By using the space of representations derived from our task set, we can effectively predict the training trajectories of simple held-out compositional tasks throughout the course of pretraining (R^2 = .68-.84 across models) without previously evaluating them. Together, these results suggest that pretraining is more structured than loss curves reveal: skills emerge in a compositional order that is consistent across models and readable from their internals.

Que Apprennent les Modèles de Langage et Quand ? L’Hypothèse du Curriculum Implicite

What do Language Models Learn and When? The Implicit Curriculum Hypothesis

Résumé

Support