ATLAS: Адаптивные законы масштабирования переноса для многоязычного предварительного обучения, тонкой настройки и преодоления проклятия многоязычия

ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality

October 24, 2025

Авторы: Shayne Longpre, Sneha Kudugunta, Niklas Muennighoff, I-Hung Hsu, Isaac Caswell, Alex Pentland, Sercan Arik, Chen-Yu Lee, Sayna Ebrahimi

cs.AI

Аннотация

Исследования скейлинг-законов до сих пор были сосредоточены преимущественно на английском языке, в то время как ведущие модели ИИ явно обслуживают миллиарды международных пользователей. В данной работе мы проводим крупнейшее на сегодняшний день исследование многоязычных скейлинг-законов, включающее в общей сложности 774 многоязычных обучающих эксперимента, охватывающих модели от 10 млн до 8 млрд параметров, более 400 языков обучения и 48 языков оценки. Мы представляем Адаптивный трансферный скейлинг-закон (ATLAS) для одноязычного и многоязычного предварительного обучения, который превосходит обобщающую способность существующих скейлинг-законов на новых данных, часто более чем на 0.3 R^2. Наш анализ экспериментов проливает свет на динамику многоязычного обучения, свойства трансфера между языками и «проклятие многоязычия». Во-первых, мы выводим матрицу кросс-лингвального трансфера, эмпирически измеряя показатели взаимной пользы для 38 x 38 = 1444 пар языков. Во-вторых, мы выводим языково-независимый скейлинг-закон, который раскрывает, как оптимально масштабировать размер модели и данные при добавлении языков без ущерба для производительности. В-третьих, мы определяем вычислительные точки перехода, когда целесообразно проводить предварительное обучение с нуля, а когда — дообучение на основе многоязычных контрольных точек. Мы надеемся, что эти результаты заложат научную основу для демократизации скейлинг-законов для разных языков и позволят практикам эффективно масштабировать модели, выходя за рамки ИИ, ориентированного в первую очередь на английский язык.

English

Scaling laws research has focused overwhelmingly on English -- yet the most prominent AI models explicitly serve billions of international users. In this work, we undertake the largest multilingual scaling laws study to date, totaling 774 multilingual training experiments, spanning 10M-8B model parameters, 400+ training languages and 48 evaluation languages. We introduce the Adaptive Transfer Scaling Law (ATLAS) for both monolingual and multilingual pretraining, which outperforms existing scaling laws' out-of-sample generalization often by more than 0.3 R^2. Our analyses of the experiments shed light on multilingual learning dynamics, transfer properties between languages, and the curse of multilinguality. First, we derive a cross-lingual transfer matrix, empirically measuring mutual benefit scores between 38 x 38=1444 language pairs. Second, we derive a language-agnostic scaling law that reveals how to optimally scale model size and data when adding languages without sacrificing performance. Third, we identify the computational crossover points for when to pretrain from scratch versus finetune from multilingual checkpoints. We hope these findings provide the scientific foundation for democratizing scaling laws across languages, and enable practitioners to efficiently scale models -- beyond English-first AI.