Adaptação Massivamente Multilíngue de Modelos de Linguagem de Grande Escala Utilizando Dados de Tradução Bilíngue

Massively Multilingual Adaptation of Large Language Models Using Bilingual Translation Data

May 31, 2025

Autores: Shaoxiong Ji, Zihao Li, Jaakko Paavola, Indraneil Paul, Hengyu Luo, Jörg Tiedemann

cs.AI

Resumo

Este artigo investiga uma decisão crítica de design na prática de pré-treinamento contínuo massivamente multilíngue — a inclusão de dados paralelos. Especificamente, estudamos o impacto dos dados de tradução bilíngue para a adaptação massivamente multilíngue de linguagem da família de modelos Llama3 para 500 idiomas. Para tanto, construímos o corpus de tradução bilíngue MaLA, contendo dados de mais de 2.500 pares de idiomas. Posteriormente, desenvolvemos o conjunto EMMA-500 Llama 3 de quatro modelos massivamente multilíngues — pré-treinados continuamente a partir dos modelos base da família Llama 3 extensivamente em diversas misturas de dados até 671 bilhões de tokens — e exploramos o efeito do pré-treinamento contínuo com ou sem dados de tradução bilíngue. Uma avaliação abrangente em 7 tarefas e 12 benchmarks demonstra que os dados bilíngues tendem a melhorar a transferência de linguagem e o desempenho, particularmente para idiomas de baixo recurso. Disponibilizamos publicamente o corpus MaLA, os artefatos do conjunto EMMA-500 Llama 3, o código e as gerações dos modelos.

English

This paper investigates a critical design decision in the practice of massively multilingual continual pre-training -- the inclusion of parallel data. Specifically, we study the impact of bilingual translation data for massively multilingual language adaptation of the Llama3 family of models to 500 languages. To this end, we construct the MaLA bilingual translation corpus, containing data from more than 2,500 language pairs. Subsequently, we develop the EMMA-500 Llama 3 suite of four massively multilingual models -- continually pre-trained from the Llama 3 family of base models extensively on diverse data mixes up to 671B tokens -- and explore the effect of continual pre-training with or without bilingual translation data. Comprehensive evaluation across 7 tasks and 12 benchmarks demonstrates that bilingual data tends to enhance language transfer and performance, particularly for low-resource languages. We open-source the MaLA corpus, EMMA-500 Llama 3 suite artefacts, code, and model generations.