Cosa imparano i modelli linguistici e quando? L'ipotesi del curriculum implicito

Abstract

I modelli linguistici di grandi dimensioni (LLM) possono svolgere compiti straordinariamente complessi, eppure i dettagli granulari di come queste capacità emergano durante il pre-addestramento rimangono poco compresi. Le leggi di scala sulla loss di validazione ci dicono quanto un modello migliora con risorse computazionali aggiuntive, ma non quali abilità acquisisca e in quale ordine. Per rimediare a ciò, proponiamo l'Ipotesi del Curriculum Implicito: il pre-addestramento segue un curriculum composizionale e prevedibile attraverso diversi modelli e miscele di dati. Testiamo questa ipotesi progettando una serie di compiti semplici e componibili che spaziano dal retrieval, alle trasformazioni morfologiche, alla coreferenza, al ragionamento logico e alla matematica. Utilizzando questi compiti, tracciamo i punti di emergenza in quattro famiglie di modelli che coprono dimensioni da 410 milioni a 13 miliardi di parametri. Scopriamo che gli ordinamenti di emergenza, ovvero quando i modelli raggiungono soglie fisse di accuratezza, sono sorprendentemente consistenti (ρ = 0,81 su 45 coppie di modelli), e che i compiti compositi emergono molto spesso dopo i loro compiti componenti. Inoltre, scopriamo che questa struttura è codificata nelle rappresentazioni del modello: compiti con rappresentazioni vettoriali di funzione simili tendono anche a seguire traiettorie simili durante l'addestramento. Utilizzando lo spazio delle rappresentazioni derivato dal nostro set di compiti, possiamo prevedere efficacemente le traiettorie di addestramento di semplici compiti compositi tenuti da parte (hold-out) nel corso del pre-addestramento (R² = 0,68-0,84 tra i modelli) senza averli precedentemente valutati. Nel complesso, questi risultati suggeriscono che il pre-addestramento è più strutturato di quanto rivelino le curve di loss: le abilità emergono in un ordine composizionale che è consistente tra i modelli e leggibile dai loro stati interni.

English

Large language models (LLMs) can perform remarkably complex tasks, yet the fine-grained details of how these capabilities emerge during pretraining remain poorly understood. Scaling laws on validation loss tell us how much a model improves with additional compute, but not what skills it acquires in which order. To remedy this, we propose the Implicit Curriculum Hypothesis: pretraining follows a compositional and predictable curriculum across models and data mixtures. We test this by designing a suite of simple, composable tasks spanning retrieval, morphological transformations, coreference, logical reasoning, and mathematics. Using these tasks, we track emergence points across four model families spanning sizes from 410M-13B parameters. We find that emergence orderings of when models reach fixed accuracy thresholds are strikingly consistent (ρ= .81 across 45 model pairs), and that composite tasks most often emerge after their component tasks. Furthermore, we find that this structure is encoded in model representations: tasks with similar function vector representations also tend to follow similar trajectories in training. By using the space of representations derived from our task set, we can effectively predict the training trajectories of simple held-out compositional tasks throughout the course of pretraining (R^2 = .68-.84 across models) without previously evaluating them. Together, these results suggest that pretraining is more structured than loss curves reveal: skills emerge in a compositional order that is consistent across models and readable from their internals.

Cosa imparano i modelli linguistici e quando? L'ipotesi del curriculum implicito

What do Language Models Learn and When? The Implicit Curriculum Hypothesis

Abstract

Support