ATLAS : Lois d'Échelle de Transfert Adaptatif pour le Prétraitement Multilingue, le Réglage Fin et le Décodage de la Malédiction de la Multilinguïté

ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality

October 24, 2025

papers.authors: Shayne Longpre, Sneha Kudugunta, Niklas Muennighoff, I-Hung Hsu, Isaac Caswell, Alex Pentland, Sercan Arik, Chen-Yu Lee, Sayna Ebrahimi

cs.AI

papers.abstract

Les recherches sur les lois d'échelle se sont concentrées de manière écrasante sur l'anglais, pourtant les modèles d'IA les plus importants servent explicitement des milliards d'utilisateurs internationaux. Dans ce travail, nous menons la plus vaste étude sur les lois d'échelle multilingues à ce jour, totalisant 774 expériences d'entraînement multilingues, couvrant des modèles de 10 millions à 8 milliards de paramètres, plus de 400 langues d'entraînement et 48 langues d'évaluation. Nous introduisons la Loi d'Échelle de Transfert Adaptatif (ATLAS) pour le pré-entraînement monolingue et multilingue, qui surpasse la généralisation hors-échantillon des lois d'échelle existantes, souvent de plus de 0,3 R². Nos analyses des expériences éclairent la dynamique d'apprentissage multilingue, les propriétés de transfert entre langues et la malédiction du multilinguisme. Premièrement, nous dérivons une matrice de transfert translinguistique, mesurant empiriquement les scores de bénéfice mutuel entre 38 x 38 = 1444 paires de langues. Deuxièmement, nous dérivons une loi d'échelle agnostique à la langue qui révèle comment optimiser l'échelle de la taille du modèle et des données lors de l'ajout de langues sans sacrifier les performances. Troisièmement, nous identifions les points de basculement computationnels pour déterminer quand effectuer un pré-entraînement à partir de zéro plutôt qu'un affinage à partir de points de contrôle multilingues. Nous espérons que ces résultats fournissent le fondement scientifique pour démocratiser les lois d'échelle à travers les langues et permettent aux praticiens de mettre à l'échelle les modèles efficacement – au-delà de l'IA centrée sur l'anglais.

English

Scaling laws research has focused overwhelmingly on English -- yet the most prominent AI models explicitly serve billions of international users. In this work, we undertake the largest multilingual scaling laws study to date, totaling 774 multilingual training experiments, spanning 10M-8B model parameters, 400+ training languages and 48 evaluation languages. We introduce the Adaptive Transfer Scaling Law (ATLAS) for both monolingual and multilingual pretraining, which outperforms existing scaling laws' out-of-sample generalization often by more than 0.3 R^2. Our analyses of the experiments shed light on multilingual learning dynamics, transfer properties between languages, and the curse of multilinguality. First, we derive a cross-lingual transfer matrix, empirically measuring mutual benefit scores between 38 x 38=1444 language pairs. Second, we derive a language-agnostic scaling law that reveals how to optimally scale model size and data when adding languages without sacrificing performance. Third, we identify the computational crossover points for when to pretrain from scratch versus finetune from multilingual checkpoints. We hope these findings provide the scientific foundation for democratizing scaling laws across languages, and enable practitioners to efficiently scale models -- beyond English-first AI.