ATLAS: Leggi di Scalabilità del Trasferimento Adattivo per il Pre-addestramento Multilingue, il Fine-tuning e la Decodifica della Maledizione della Multilingualità

ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality

October 24, 2025

Autori: Shayne Longpre, Sneha Kudugunta, Niklas Muennighoff, I-Hung Hsu, Isaac Caswell, Alex Pentland, Sercan Arik, Chen-Yu Lee, Sayna Ebrahimi

cs.AI

Abstract

La ricerca sulle leggi di scalabilità si è concentrata in modo preponderante sull'inglese, nonostante i modelli di IA più importanti servano esplicitamente miliardi di utenti internazionali. In questo lavoro, intraprendiamo il più vasto studio multilingue sulle leggi di scalabilità finora condotto, per un totale di 774 esperimenti di addestramento multilingue, che coprono modelli da 10 milioni a 8 miliardi di parametri, oltre 400 lingue per l'addestramento e 48 lingue per la valutazione. Introduciamo la Legge di Scalabilità del Trasferimento Adattivo (ATLAS) per il pre-addestramento sia monolingue che multilingue, che supera la generalizzazione fuori campione delle leggi di scalabilità esistenti spesso di più di 0.3 R². Le nostre analisi degli esperimenti gettano luce sulle dinamiche di apprendimento multilingue, le proprietà di trasferimento tra le lingue e la maledizione della multilinguità. In primo luogo, deriviamo una matrice di trasferimento cross-linguistico, misurando empiricamente i punteggi di beneficio reciproco tra 38x38=1444 coppie di lingue. In secondo luogo, deriviamo una legge di scalabilità agnostica rispetto alla lingua che rivela come scalare in modo ottimale le dimensioni del modello e i dati quando si aggiungono lingue senza sacrificare le prestazioni. In terzo luogo, identifichiamo i punti di crossover computazionali per decidere quando effettuare il pre-addestramento da zero rispetto al fine-tuning partendo da checkpoint multilingue. Ci auguriamo che questi risultati forniscano le fondamenta scientifiche per democratizzare le leggi di scalabilità tra le lingue e consentano ai professionisti di scalare efficientemente i modelli, andando oltre un'IA incentrata principalmente sull'inglese.

English

Scaling laws research has focused overwhelmingly on English -- yet the most prominent AI models explicitly serve billions of international users. In this work, we undertake the largest multilingual scaling laws study to date, totaling 774 multilingual training experiments, spanning 10M-8B model parameters, 400+ training languages and 48 evaluation languages. We introduce the Adaptive Transfer Scaling Law (ATLAS) for both monolingual and multilingual pretraining, which outperforms existing scaling laws' out-of-sample generalization often by more than 0.3 R^2. Our analyses of the experiments shed light on multilingual learning dynamics, transfer properties between languages, and the curse of multilinguality. First, we derive a cross-lingual transfer matrix, empirically measuring mutual benefit scores between 38 x 38=1444 language pairs. Second, we derive a language-agnostic scaling law that reveals how to optimally scale model size and data when adding languages without sacrificing performance. Third, we identify the computational crossover points for when to pretrain from scratch versus finetune from multilingual checkpoints. We hope these findings provide the scientific foundation for democratizing scaling laws across languages, and enable practitioners to efficiently scale models -- beyond English-first AI.