Massale meertalige aanpassing van grote taalmodellen met behulp van tweetalige vertaalgegevens

Massively Multilingual Adaptation of Large Language Models Using Bilingual Translation Data

May 31, 2025

Auteurs: Shaoxiong Ji, Zihao Li, Jaakko Paavola, Indraneil Paul, Hengyu Luo, Jörg Tiedemann

cs.AI

Samenvatting

Dit artikel onderzoekt een cruciaal ontwerpbesluit in de praktijk van massaal meertalige continue voorafgaande training -- de opname van parallelle data. Specifiek bestuderen we de impact van tweetalige vertaaldata voor de massaal meertalige taalaanpassing van de Llama3-familie van modellen aan 500 talen. Hiertoe construeren we het MaLA tweetalige vertaalcorpus, dat data bevat van meer dan 2.500 taalparen. Vervolgens ontwikkelen we de EMMA-500 Llama 3-suite van vier massaal meertalige modellen -- continu vooraf getraind vanuit de Llama 3-familie van basismodellen, uitgebreid op diverse datamixen tot 671B tokens -- en onderzoeken we het effect van continue voorafgaande training met of zonder tweetalige vertaaldata. Een uitgebreide evaluatie over 7 taken en 12 benchmarks toont aan dat tweetalige data de taaloverdracht en prestaties doorgaans verbetert, met name voor talen met weinig bronnen. We maken het MaLA-corpus, de EMMA-500 Llama 3-suite artefacten, code en modelgeneraties openbaar.

English

This paper investigates a critical design decision in the practice of massively multilingual continual pre-training -- the inclusion of parallel data. Specifically, we study the impact of bilingual translation data for massively multilingual language adaptation of the Llama3 family of models to 500 languages. To this end, we construct the MaLA bilingual translation corpus, containing data from more than 2,500 language pairs. Subsequently, we develop the EMMA-500 Llama 3 suite of four massively multilingual models -- continually pre-trained from the Llama 3 family of base models extensively on diverse data mixes up to 671B tokens -- and explore the effect of continual pre-training with or without bilingual translation data. Comprehensive evaluation across 7 tasks and 12 benchmarks demonstrates that bilingual data tends to enhance language transfer and performance, particularly for low-resource languages. We open-source the MaLA corpus, EMMA-500 Llama 3 suite artefacts, code, and model generations.