Adaptation multilingue à grande échelle des modèles de langage de grande taille à l'aide de données de traduction bilingue

Massively Multilingual Adaptation of Large Language Models Using Bilingual Translation Data

May 31, 2025

Auteurs: Shaoxiong Ji, Zihao Li, Jaakko Paavola, Indraneil Paul, Hengyu Luo, Jörg Tiedemann

cs.AI

Résumé

Cet article examine une décision de conception cruciale dans la pratique du pré-entraînement massivement multilingue continu — l'inclusion de données parallèles. Plus précisément, nous étudions l'impact des données de traduction bilingue pour l'adaptation massivement multilingue des modèles de la famille Llama3 à 500 langues. À cette fin, nous construisons le corpus de traduction bilingue MaLA, contenant des données provenant de plus de 2 500 paires de langues. Par la suite, nous développons la suite EMMA-500 Llama 3, composée de quatre modèles massivement multilingues — pré-entraînés de manière continue à partir des modèles de base de la famille Llama 3 sur des mélanges de données diversifiés allant jusqu'à 671 milliards de tokens — et explorons l'effet du pré-entraînement continu avec ou sans données de traduction bilingue. Une évaluation approfondie sur 7 tâches et 12 benchmarks démontre que les données bilingues tendent à améliorer le transfert linguistique et les performances, en particulier pour les langues à faibles ressources. Nous rendons publics le corpus MaLA, les artefacts de la suite EMMA-500 Llama 3, le code et les générations de modèles.

English

This paper investigates a critical design decision in the practice of massively multilingual continual pre-training -- the inclusion of parallel data. Specifically, we study the impact of bilingual translation data for massively multilingual language adaptation of the Llama3 family of models to 500 languages. To this end, we construct the MaLA bilingual translation corpus, containing data from more than 2,500 language pairs. Subsequently, we develop the EMMA-500 Llama 3 suite of four massively multilingual models -- continually pre-trained from the Llama 3 family of base models extensively on diverse data mixes up to 671B tokens -- and explore the effect of continual pre-training with or without bilingual translation data. Comprehensive evaluation across 7 tasks and 12 benchmarks demonstrates that bilingual data tends to enhance language transfer and performance, particularly for low-resource languages. We open-source the MaLA corpus, EMMA-500 Llama 3 suite artefacts, code, and model generations.