O Que os Modelos de Linguagem Aprendem e Quando? A Hipótese do Currículo Implícito

Resumo

Os modelos de linguagem de grande escala (LLMs) podem realizar tarefas notavelmente complexas, mas os detalhes refinados de como essas capacidades emergem durante o pré-treinamento permanecem pouco compreendidos. As leis de escalonamento baseadas na perda de valiação nos dizem o quanto um modelo melhora com poder computacional adicional, mas não quais habilidades ele adquire e em que ordem. Para remediar isso, propomos a Hipótese do Currículo Implícito: o pré-treinamento segue um currículo composicional e previsível entre modelos e misturas de dados. Testamos esta hipótese projetando um conjunto de tarefas simples e composicionais que abrangem recuperação de informação, transformações morfológicas, correferência, raciocínio lógico e matemática. Utilizando estas tarefas, rastreamos os pontos de emergência em quatro famílias de modelos, com tamanhos variando de 410 milhões a 13 bilhões de parâmetros. Descobrimos que as ordens de emergência (quando os modelos atingem limiares fixos de precisão) são notavelmente consistentes (ρ = 0,81 em 45 pares de modelos) e que as tarefas compostas emergem mais frequentemente após suas tarefas componentes. Além disso, descobrimos que essa estrutura está codificada nas representações do modelo: tarefas com representações vetoriais de função semelhantes também tendem a seguir trajetórias de treinamento semelhantes. Ao utilizar o espaço de representações derivado do nosso conjunto de tarefas, podemos prever com eficácia as trajetórias de treinamento de tarefas composicionais simples retidas (R² = 0,68-0,84 entre os modelos) ao longo do pré-treinamento, sem avaliá-las previamente. Juntos, estes resultados sugerem que o pré-treinamento é mais estruturado do que as curvas de perda revelam: as habilidades emergem em uma ordem composicional que é consistente entre modelos e legível a partir de seus estados internos.

English

Large language models (LLMs) can perform remarkably complex tasks, yet the fine-grained details of how these capabilities emerge during pretraining remain poorly understood. Scaling laws on validation loss tell us how much a model improves with additional compute, but not what skills it acquires in which order. To remedy this, we propose the Implicit Curriculum Hypothesis: pretraining follows a compositional and predictable curriculum across models and data mixtures. We test this by designing a suite of simple, composable tasks spanning retrieval, morphological transformations, coreference, logical reasoning, and mathematics. Using these tasks, we track emergence points across four model families spanning sizes from 410M-13B parameters. We find that emergence orderings of when models reach fixed accuracy thresholds are strikingly consistent (ρ= .81 across 45 model pairs), and that composite tasks most often emerge after their component tasks. Furthermore, we find that this structure is encoded in model representations: tasks with similar function vector representations also tend to follow similar trajectories in training. By using the space of representations derived from our task set, we can effectively predict the training trajectories of simple held-out compositional tasks throughout the course of pretraining (R^2 = .68-.84 across models) without previously evaluating them. Together, these results suggest that pretraining is more structured than loss curves reveal: skills emerge in a compositional order that is consistent across models and readable from their internals.

O Que os Modelos de Linguagem Aprendem e Quando? A Hipótese do Currículo Implícito

What do Language Models Learn and When? The Implicit Curriculum Hypothesis

Resumo

Support