Massiv mehrsprachige Anpassung großer Sprachmodelle unter Verwendung bilingualer Übersetzungsdaten

Massively Multilingual Adaptation of Large Language Models Using Bilingual Translation Data

May 31, 2025

papers.authors: Shaoxiong Ji, Zihao Li, Jaakko Paavola, Indraneil Paul, Hengyu Luo, Jörg Tiedemann

cs.AI

papers.abstract

Diese Arbeit untersucht eine kritische Designentscheidung in der Praxis des massiv mehrsprachigen kontinuierlichen Vortrainierens – die Einbeziehung von parallelen Daten. Konkret untersuchen wir die Auswirkungen von bilingualen Übersetzungsdaten für die massiv mehrsprachige Sprachadaption der Llama3-Modellfamilie auf 500 Sprachen. Zu diesem Zweck erstellen wir das MaLA-bilinguale Übersetzungskorpus, das Daten aus mehr als 2.500 Sprachpaaren enthält. Anschließend entwickeln wir die EMMA-500 Llama 3-Suite, bestehend aus vier massiv mehrsprachigen Modellen – kontinuierlich vortrainiert aus der Llama3-Basismodellfamilie mit umfangreichen Datenmischungen von bis zu 671B Tokens – und untersuchen die Auswirkungen des kontinuierlichen Vortrainierens mit oder ohne bilinguale Übersetzungsdaten. Eine umfassende Bewertung über 7 Aufgaben und 12 Benchmarks zeigt, dass bilinguale Daten tendenziell den Sprachtransfer und die Leistung verbessern, insbesondere für ressourcenarme Sprachen. Wir stellen das MaLA-Korpus, die EMMA-500 Llama 3-Suite-Artefakte, den Code und die Modellgenerierungen als Open Source zur Verfügung.

English

This paper investigates a critical design decision in the practice of massively multilingual continual pre-training -- the inclusion of parallel data. Specifically, we study the impact of bilingual translation data for massively multilingual language adaptation of the Llama3 family of models to 500 languages. To this end, we construct the MaLA bilingual translation corpus, containing data from more than 2,500 language pairs. Subsequently, we develop the EMMA-500 Llama 3 suite of four massively multilingual models -- continually pre-trained from the Llama 3 family of base models extensively on diverse data mixes up to 671B tokens -- and explore the effect of continual pre-training with or without bilingual translation data. Comprehensive evaluation across 7 tasks and 12 benchmarks demonstrates that bilingual data tends to enhance language transfer and performance, particularly for low-resource languages. We open-source the MaLA corpus, EMMA-500 Llama 3 suite artefacts, code, and model generations.