ATLAS: 多言語事前学習、ファインチューニングにおける適応的転移スケーリング則と多言語性の呪いの解明

ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality

October 24, 2025

著者: Shayne Longpre, Sneha Kudugunta, Niklas Muennighoff, I-Hung Hsu, Isaac Caswell, Alex Pentland, Sercan Arik, Chen-Yu Lee, Sayna Ebrahimi

cs.AI

要旨

スケーリング則の研究は英語に偏重してきたが、最も先進的なAIモデルは明示的に数十億人の国際ユーザーにサービスを提供している。本論文では、774件の多言語訓練実験、1000万〜80億パラメータモデル、400以上の訓練言語、48の評価言語を網羅する、過去最大規模の多言語スケーリング則研究を実施する。単言語と多言語事前学習の両方に対応するAdaptive Transfer Scaling Law（ATLAS）を提案し、既存のスケーリング則のサンプル外一般化性能をR²値で0.3以上上回ることを示す。実験分析を通じて、多言語学習ダイナミクス、言語間転移特性、多言語性の呪いを解明する。第一に、38言語×38言語＝1444言語ペアの相互利益スコアを実証的に計測する言語間転移行列を導出。第二に、性能を犠牲にせず言語を追加する際のモデルサイズとデータの最適スケーリング方法を明らかにする言語普遍的なスケーリング則を確立。第三に、ゼロから事前学習すべき場合と多言語チェックポイントからのファインチューニング適応期を見極める計算量的クロスオーバーポイントを特定する。これらの発見が、言語横断的なスケーリング則の民主化の科学的基盤となり、実務家が英語優先AIを超えた効率的なモデルスケーリングを可能にすることを期待する。

English

Scaling laws research has focused overwhelmingly on English -- yet the most prominent AI models explicitly serve billions of international users. In this work, we undertake the largest multilingual scaling laws study to date, totaling 774 multilingual training experiments, spanning 10M-8B model parameters, 400+ training languages and 48 evaluation languages. We introduce the Adaptive Transfer Scaling Law (ATLAS) for both monolingual and multilingual pretraining, which outperforms existing scaling laws' out-of-sample generalization often by more than 0.3 R^2. Our analyses of the experiments shed light on multilingual learning dynamics, transfer properties between languages, and the curse of multilinguality. First, we derive a cross-lingual transfer matrix, empirically measuring mutual benefit scores between 38 x 38=1444 language pairs. Second, we derive a language-agnostic scaling law that reveals how to optimally scale model size and data when adding languages without sacrificing performance. Third, we identify the computational crossover points for when to pretrain from scratch versus finetune from multilingual checkpoints. We hope these findings provide the scientific foundation for democratizing scaling laws across languages, and enable practitioners to efficiently scale models -- beyond English-first AI.