Adaptación Masivamente Multilingüe de Modelos de Lenguaje a Gran Escala Utilizando Datos de Traducción Bilingüe

Massively Multilingual Adaptation of Large Language Models Using Bilingual Translation Data

May 31, 2025

Autores: Shaoxiong Ji, Zihao Li, Jaakko Paavola, Indraneil Paul, Hengyu Luo, Jörg Tiedemann

cs.AI

Resumen

Este artículo investiga una decisión crítica de diseño en la práctica del preentrenamiento continuo masivamente multilingüe: la inclusión de datos paralelos. Específicamente, estudiamos el impacto de los datos de traducción bilingüe en la adaptación masivamente multilingüe de los modelos de la familia Llama3 a 500 idiomas. Para ello, construimos el corpus de traducción bilingüe MaLA, que contiene datos de más de 2,500 pares de idiomas. Posteriormente, desarrollamos la suite EMMA-500 Llama 3, compuesta por cuatro modelos masivamente multilingües, preentrenados continuamente a partir de los modelos base de la familia Llama 3 con mezclas de datos diversos que alcanzan hasta 671B tokens, y exploramos el efecto del preentrenamiento continuo con o sin datos de traducción bilingüe. Una evaluación exhaustiva en 7 tareas y 12 benchmarks demuestra que los datos bilingües tienden a mejorar la transferencia lingüística y el rendimiento, especialmente en idiomas de bajos recursos. Hacemos públicos el corpus MaLA, los artefactos de la suite EMMA-500 Llama 3, el código y las generaciones de los modelos.

English

This paper investigates a critical design decision in the practice of massively multilingual continual pre-training -- the inclusion of parallel data. Specifically, we study the impact of bilingual translation data for massively multilingual language adaptation of the Llama3 family of models to 500 languages. To this end, we construct the MaLA bilingual translation corpus, containing data from more than 2,500 language pairs. Subsequently, we develop the EMMA-500 Llama 3 suite of four massively multilingual models -- continually pre-trained from the Llama 3 family of base models extensively on diverse data mixes up to 671B tokens -- and explore the effect of continual pre-training with or without bilingual translation data. Comprehensive evaluation across 7 tasks and 12 benchmarks demonstrates that bilingual data tends to enhance language transfer and performance, particularly for low-resource languages. We open-source the MaLA corpus, EMMA-500 Llama 3 suite artefacts, code, and model generations.