Массовая многоязычная адаптация крупных языковых моделей с использованием данных двуязычного перевода

Massively Multilingual Adaptation of Large Language Models Using Bilingual Translation Data

May 31, 2025

Авторы: Shaoxiong Ji, Zihao Li, Jaakko Paavola, Indraneil Paul, Hengyu Luo, Jörg Tiedemann

cs.AI

Аннотация

В данной статье исследуется ключевое проектное решение в практике массового многоязычного непрерывного предварительного обучения — включение параллельных данных. В частности, изучается влияние данных двуязычного перевода на адаптацию моделей семейства Llama3 к 500 языкам в рамках массового многоязычного подхода. Для этого создается корпус MaLA, содержащий данные более чем для 2500 языковых пар. Впоследствии разрабатывается набор EMMA-500 Llama 3, состоящий из четырех массово многоязычных моделей, которые непрерывно предварительно обучаются на основе моделей семейства Llama 3 с использованием разнообразных данных объемом до 671 млрд токенов, и исследуется влияние непрерывного предварительного обучения с использованием или без использования данных двуязычного перевода. Комплексная оценка по 7 задачам и 12 тестам демонстрирует, что двуязычные данные способствуют улучшению языкового переноса и производительности, особенно для языков с ограниченными ресурсами. Мы открываем доступ к корпусу MaLA, артефактам набора EMMA-500 Llama 3, коду и сгенерированным моделям.

English

This paper investigates a critical design decision in the practice of massively multilingual continual pre-training -- the inclusion of parallel data. Specifically, we study the impact of bilingual translation data for massively multilingual language adaptation of the Llama3 family of models to 500 languages. To this end, we construct the MaLA bilingual translation corpus, containing data from more than 2,500 language pairs. Subsequently, we develop the EMMA-500 Llama 3 suite of four massively multilingual models -- continually pre-trained from the Llama 3 family of base models extensively on diverse data mixes up to 671B tokens -- and explore the effect of continual pre-training with or without bilingual translation data. Comprehensive evaluation across 7 tasks and 12 benchmarks demonstrates that bilingual data tends to enhance language transfer and performance, particularly for low-resource languages. We open-source the MaLA corpus, EMMA-500 Llama 3 suite artefacts, code, and model generations.