ATLAS: Leis de Escalonamento de Transferência Adaptativa para Pré-treinamento Multilíngue, Ajuste Fino e Decodificação da Maldição da Multilingualidade

ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality

October 24, 2025

Autores: Shayne Longpre, Sneha Kudugunta, Niklas Muennighoff, I-Hung Hsu, Isaac Caswell, Alex Pentland, Sercan Arik, Chen-Yu Lee, Sayna Ebrahimi

cs.AI

Resumo

A pesquisa sobre leis de escalonamento tem se concentrado massivamente no inglês — ainda que os modelos de IA mais proeminentes atendam explicitamente a bilhões de usuários internacionais. Neste trabalho, realizamos o maior estudo de leis de escalonamento multilíngue já feito, totalizando 774 experimentos de treinamento multilíngue, abrangendo modelos de 10M a 8B de parâmetros, mais de 400 idiomas de treinamento e 48 idiomas de avaliação. Introduzimos a Lei de Escalonamento por Transferência Adaptativa (ATLAS) para pré-treinamento monolíngue e multilíngue, que supera a generalização fora da amostra das leis de escalonamento existentes frequentemente em mais de 0,3 R². Nossas análises dos experimentos lançam luz sobre a dinâmica de aprendizado multilíngue, as propriedades de transferência entre idiomas e a maldição da multilinguidade. Primeiro, derivamos uma matriz de transferência cross-lingual, medindo empiricamente os escores de benefício mútuo entre 38 x 38 = 1444 pares de idiomas. Segundo, derivamos uma lei de escalonamento independente de idioma que revela como escalar de forma ideal o tamanho do modelo e os dados ao adicionar idiomas sem sacrificar o desempenho. Terceiro, identificamos os pontos de crossover computacionais para quando é melhor pré-treinar do zero versus ajustar a partir de checkpoints multilíngues. Esperamos que essas descobertas forneçam a base científica para democratizar as leis de escalonamento entre idiomas e permitam que os profissionais escalem modelos com eficiência — para além de uma IA centrada no inglês.

English

Scaling laws research has focused overwhelmingly on English -- yet the most prominent AI models explicitly serve billions of international users. In this work, we undertake the largest multilingual scaling laws study to date, totaling 774 multilingual training experiments, spanning 10M-8B model parameters, 400+ training languages and 48 evaluation languages. We introduce the Adaptive Transfer Scaling Law (ATLAS) for both monolingual and multilingual pretraining, which outperforms existing scaling laws' out-of-sample generalization often by more than 0.3 R^2. Our analyses of the experiments shed light on multilingual learning dynamics, transfer properties between languages, and the curse of multilinguality. First, we derive a cross-lingual transfer matrix, empirically measuring mutual benefit scores between 38 x 38=1444 language pairs. Second, we derive a language-agnostic scaling law that reveals how to optimally scale model size and data when adding languages without sacrificing performance. Third, we identify the computational crossover points for when to pretrain from scratch versus finetune from multilingual checkpoints. We hope these findings provide the scientific foundation for democratizing scaling laws across languages, and enable practitioners to efficiently scale models -- beyond English-first AI.