¿Qué aprenden los modelos de lenguaje y cuándo? La hipótesis del currículum implícito.

What do Language Models Learn and When? The Implicit Curriculum Hypothesis

April 9, 2026

Autores: Emmy Liu, Kaiser Sun, Millicent Li, Isabelle Lee, Lindia Tjuatja, Jen-tse Huang, Graham Neubig

cs.AI

Resumen

Los modelos de lenguaje grandes (LLMs) pueden realizar tareas notablemente complejas, pero los detalles específicos de cómo emergen estas capacidades durante el preentrenamiento siguen siendo poco comprendidos. Las leyes de escalamiento basadas en la pérdida de validación nos indican cuánto mejora un modelo con recursos computacionales adicionales, pero no qué habilidades adquiere y en qué orden. Para remediar esto, proponemos la Hipótesis del Currículo Implícito: el preentrenamiento sigue un currículo compositivo y predecible a través de diferentes modelos y mezclas de datos. Probamos esta hipótesis diseñando un conjunto de tareas simples y componibles que abarcan recuperación de información, transformaciones morfológicas, correferencia, razonamiento lógico y matemáticas. Utilizando estas tareas, rastreamos los puntos de emergencia en cuatro familias de modelos que abarcan tamaños desde 410 millones hasta 13 mil millones de parámetros. Encontramos que el orden de emergencia (cuándo los modelos alcanzan umbrales de precisión fijos) es sorprendentemente consistente (ρ = .81 en 45 pares de modelos), y que las tareas compuestas emergen con mayor frecuencia después que sus tareas componentes. Además, encontramos que esta estructura está codificada en las representaciones del modelo: las tareas con representaciones vectoriales de función similares también tienden a seguir trayectorias similares durante el entrenamiento. Al utilizar el espacio de representaciones derivado de nuestro conjunto de tareas, podemos predecir efectivamente las trayectorias de entrenamiento de tareas compositivas simples no vistas (R² = .68-.84 entre modelos) a lo largo del preentrenamiento, sin haberlas evaluado previamente. En conjunto, estos resultados sugieren que el preentrenamiento está más estructurado de lo que revelan las curvas de pérdida: las habilidades emergen en un orden compositivo que es consistente entre modelos y legible desde sus representaciones internas.

English

Large language models (LLMs) can perform remarkably complex tasks, yet the fine-grained details of how these capabilities emerge during pretraining remain poorly understood. Scaling laws on validation loss tell us how much a model improves with additional compute, but not what skills it acquires in which order. To remedy this, we propose the Implicit Curriculum Hypothesis: pretraining follows a compositional and predictable curriculum across models and data mixtures. We test this by designing a suite of simple, composable tasks spanning retrieval, morphological transformations, coreference, logical reasoning, and mathematics. Using these tasks, we track emergence points across four model families spanning sizes from 410M-13B parameters. We find that emergence orderings of when models reach fixed accuracy thresholds are strikingly consistent (ρ= .81 across 45 model pairs), and that composite tasks most often emerge after their component tasks. Furthermore, we find that this structure is encoded in model representations: tasks with similar function vector representations also tend to follow similar trajectories in training. By using the space of representations derived from our task set, we can effectively predict the training trajectories of simple held-out compositional tasks throughout the course of pretraining (R^2 = .68-.84 across models) without previously evaluating them. Together, these results suggest that pretraining is more structured than loss curves reveal: skills emerge in a compositional order that is consistent across models and readable from their internals.