ATLAS: Adaptieve Transfer Scaling-wetten voor Meertalige Voorafgaande Training, Fijnafstemming en het Ontcijferen van de Vloek van Meertaligheid

ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality

October 24, 2025

Auteurs: Shayne Longpre, Sneha Kudugunta, Niklas Muennighoff, I-Hung Hsu, Isaac Caswell, Alex Pentland, Sercan Arik, Chen-Yu Lee, Sayna Ebrahimi

cs.AI

Samenvatting

Onderzoek naar schaalwetten heeft zich overweldigend gericht op Engels – toch bedienen de meest prominente AI-modellen expliciet miljarden internationale gebruikers. In dit werk ondernemen we de grootste meertalige schaalwettenstudie tot nu toe, met in totaal 774 meertalige trainingsexperimenten, variërend van 10 miljoen tot 8 miljard modelparameters, meer dan 400 trainings- en 48 evaluatietalen. We introduceren de Adaptieve Transfer Schaalwet (ATLAS) voor zowel eentalige als meertalige pretraining, die de generalisatie buiten de steekproef van bestaande schaalwetten vaak met meer dan 0,3 R² overtreft. Onze analyses van de experimenten werpen licht op meertalige leer dynamiek, transfer-eigenschappen tussen talen, en de vloek van meertaligheid. Ten eerste leiden we een cross-linguale transfermatrix af, die empirisch de wederzijdse voordelscores meet tussen 38 x 38=1444 taalparen. Ten tweede leiden we een taal-onafhankelijke schaalwet af die onthult hoe modelgrootte en data optimaal geschaald kunnen worden bij het toevoegen van talen zonder prestatieverlies. Ten derde identificeren we de computationele omslagpunten voor wanneer men vanaf nul moet pretrainen versus finetunen vanaf meertalige checkpoints. We hopen dat deze bevindingen de wetenschappelijke basis vormen voor het democratiseren van schaalwetten over talen heen, en praktijkmensen in staat stellen om modellen efficiënt op te schalen – voorbij AI die Engels vooropstelt.

English

Scaling laws research has focused overwhelmingly on English -- yet the most prominent AI models explicitly serve billions of international users. In this work, we undertake the largest multilingual scaling laws study to date, totaling 774 multilingual training experiments, spanning 10M-8B model parameters, 400+ training languages and 48 evaluation languages. We introduce the Adaptive Transfer Scaling Law (ATLAS) for both monolingual and multilingual pretraining, which outperforms existing scaling laws' out-of-sample generalization often by more than 0.3 R^2. Our analyses of the experiments shed light on multilingual learning dynamics, transfer properties between languages, and the curse of multilinguality. First, we derive a cross-lingual transfer matrix, empirically measuring mutual benefit scores between 38 x 38=1444 language pairs. Second, we derive a language-agnostic scaling law that reveals how to optimally scale model size and data when adding languages without sacrificing performance. Third, we identify the computational crossover points for when to pretrain from scratch versus finetune from multilingual checkpoints. We hope these findings provide the scientific foundation for democratizing scaling laws across languages, and enable practitioners to efficiently scale models -- beyond English-first AI.