Что изучают языковые модели и когда? Гипотеза о неявной учебной программе

Аннотация

Крупные языковые модели (LLM) способны выполнять исключительно сложные задачи, однако тонкие детали того, как эти способности возникают в процессе предварительного обучения, остаются малоизученными. Законы масштабирования, основанные на валидационной ошибке, показывают, насколько модель улучшается с увеличением вычислительных ресурсов, но не раскрывают, какие именно навыки и в каком порядке она приобретает. Чтобы устранить этот пробел, мы предлагаем Гипотезу неявного учебного плана: предварительное обучение следует композиционному и предсказуемому учебному плану, который согласован для разных моделей и смесей данных. Мы проверяем эту гипотезу, разработав набор простых, композируемых задач, охватывающих поиск информации, морфологические преобразования, кореференцию, логические рассуждения и математику. Используя эти задачи, мы отслеживаем точки возникновения способностей в четырех семействах моделей размером от 410 млн до 13 млрд параметров. Мы обнаруживаем, что порядок возникновения способностей (моменты, когда модели достигают фиксированных порогов точности) является поразительно согласованным (ρ = 0,81 для 45 пар моделей), и что составные задачи чаще всего возникают после своих компонентов. Кроме того, мы обнаруживаем, что эта структура закодирована в репрезентациях моделей: задачи с похожими векторными представлениями функций также имеют тенденцию следовать схожим траекториям в ходе обучения. Используя пространство репрезентаций, полученное из нашего набора задач, мы можем эффективно предсказывать траектории обучения простых составных задач, не участвовавших в обучении (R² = 0,68–0,84 для разных моделей), на протяжении всего процесса предварительного обучения без их предварительной оценки. В совокупности эти результаты свидетельствуют о том, что предварительное обучение имеет более структурированный характер, чем это видно по кривым потерь: навыки возникают в композиционном порядке, который согласован для разных моделей и может быть считан из их внутренних представлений.

English

Large language models (LLMs) can perform remarkably complex tasks, yet the fine-grained details of how these capabilities emerge during pretraining remain poorly understood. Scaling laws on validation loss tell us how much a model improves with additional compute, but not what skills it acquires in which order. To remedy this, we propose the Implicit Curriculum Hypothesis: pretraining follows a compositional and predictable curriculum across models and data mixtures. We test this by designing a suite of simple, composable tasks spanning retrieval, morphological transformations, coreference, logical reasoning, and mathematics. Using these tasks, we track emergence points across four model families spanning sizes from 410M-13B parameters. We find that emergence orderings of when models reach fixed accuracy thresholds are strikingly consistent (ρ= .81 across 45 model pairs), and that composite tasks most often emerge after their component tasks. Furthermore, we find that this structure is encoded in model representations: tasks with similar function vector representations also tend to follow similar trajectories in training. By using the space of representations derived from our task set, we can effectively predict the training trajectories of simple held-out compositional tasks throughout the course of pretraining (R^2 = .68-.84 across models) without previously evaluating them. Together, these results suggest that pretraining is more structured than loss curves reveal: skills emerge in a compositional order that is consistent across models and readable from their internals.

Что изучают языковые модели и когда? Гипотеза о неявной учебной программе

What do Language Models Learn and When? The Implicit Curriculum Hypothesis

Аннотация

Support