ATLAS: Adaptive Transfer-Skalierungsgesetze für mehrsprachiges Vortraining, Feintuning und die Überwindung des Fluches der Mehrsprachigkeit

ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality

October 24, 2025

papers.authors: Shayne Longpre, Sneha Kudugunta, Niklas Muennighoff, I-Hung Hsu, Isaac Caswell, Alex Pentland, Sercan Arik, Chen-Yu Lee, Sayna Ebrahimi

cs.AI

papers.abstract

Die Forschung zu Skalierungsgesetzen hat sich überwiegend auf Englisch konzentriert – doch die bedeutendsten KI-Modelle bedienen explizit Milliarden internationaler Nutzer. In dieser Arbeit führen wir die bislang umfangreichste Studie zu mehrsprachigen Skalierungsgesetzen durch, mit insgesamt 774 mehrsprachigen Trainingsexperimenten, die einen Parameterbereich von 10 Millionen bis 8 Milliarden Modellparametern, über 400 Trainingssprachen und 48 Evaluierungssprachen umfassen. Wir stellen das Adaptive Transfer Scaling Law (ATLAS) für sowohl einsprachiges als auch mehrsprachiges Vortraining vor, das die Generalisierungsfähigkeit außerhalb der Stichprobe bestehender Skalierungsgesetze oft um mehr als 0,3 R² übertrifft. Unsere Analysen der Experimente geben Aufschluss über mehrsprachige Lern dynamiken, Transfer eigenschaften zwischen Sprachen und den Fluch der Mehrsprachigkeit. Erstens leiten wir eine sprachübergreifende Transfermatrix ab, die empirisch die gegenseitigen Nutzenwerte zwischen 38 x 38 = 1444 Sprachpaaren misst. Zweitens entwickeln wir ein sprachunabhängiges Skalierungsgesetz, das aufzeigt, wie Modellgröße und Daten optimal skaliert werden können, wenn Sprachen hinzugefügt werden, ohne Leistungseinbußen in Kauf nehmen zu müssen. Drittens identifizieren wir die rechnerischen Wendepunkte, ab denen ein Vortraining von Grund auf gegenüber einer Feinjustierung aus mehrsprachigen Checkpoints vorteilhaft ist. Wir hoffen, dass diese Erkenntnisse die wissenschaftliche Grundlage für eine Demokratisierung von Skalierungsgesetzen über Sprachen hinweg bilden und es Praktikern ermöglichen, Modelle effizient zu skalieren – über eine englisch-zentrierte KI hinaus.

English

Scaling laws research has focused overwhelmingly on English -- yet the most prominent AI models explicitly serve billions of international users. In this work, we undertake the largest multilingual scaling laws study to date, totaling 774 multilingual training experiments, spanning 10M-8B model parameters, 400+ training languages and 48 evaluation languages. We introduce the Adaptive Transfer Scaling Law (ATLAS) for both monolingual and multilingual pretraining, which outperforms existing scaling laws' out-of-sample generalization often by more than 0.3 R^2. Our analyses of the experiments shed light on multilingual learning dynamics, transfer properties between languages, and the curse of multilinguality. First, we derive a cross-lingual transfer matrix, empirically measuring mutual benefit scores between 38 x 38=1444 language pairs. Second, we derive a language-agnostic scaling law that reveals how to optimally scale model size and data when adding languages without sacrificing performance. Third, we identify the computational crossover points for when to pretrain from scratch versus finetune from multilingual checkpoints. We hope these findings provide the scientific foundation for democratizing scaling laws across languages, and enable practitioners to efficiently scale models -- beyond English-first AI.