LLaMAX : Élargir les horizons linguistiques des LLM en renforçant les capacités de traduction au-delà de 100 langues

LLaMAX: Scaling Linguistic Horizons of LLM by Enhancing Translation Capabilities Beyond 100 Languages

July 8, 2024

Auteurs: Yinquan Lu, Wenhao Zhu, Lei Li, Yu Qiao, Fei Yuan

cs.AI

Résumé

Les grands modèles de langage (LLMs) démontrent des capacités de traduction remarquables pour les tâches impliquant des langues riches en ressources, mais leurs performances pour les langues peu dotées sont limitées par un manque de données multilingues lors du pré-entraînement. Pour remédier à cela, nous consacrons 35 000 heures de GPU A100-SXM4-80GB à un pré-entraînement multilingue continu approfondi sur les modèles de la série LLaMA, permettant ainsi une prise en charge de la traduction pour plus de 100 langues. À travers une analyse approfondie des stratégies d'entraînement, telles que l'expansion du vocabulaire et l'augmentation des données, nous développons LLaMAX. De manière notable, sans sacrifier sa capacité de généralisation, LLaMAX atteint des performances de traduction significativement supérieures à celles des LLMs open-source existants (avec une amélioration de plus de 10 points spBLEU) et rivalise avec un modèle de traduction spécialisé (M2M-100-12B) sur le benchmark Flores-101. Des expériences approfondies indiquent que LLaMAX peut servir de modèle de base multilingue robuste. Le code~\url{https://github.com/CONE-MT/LLaMAX/.} et les modèles~\url{https://huggingface.co/LLaMAX/.} sont disponibles publiquement.

English

Large Language Models~(LLMs) demonstrate remarkable translation capabilities in high-resource language tasks, yet their performance in low-resource languages is hindered by insufficient multilingual data during pre-training. To address this, we dedicate 35,000 A100-SXM4-80GB GPU hours in conducting extensive multilingual continual pre-training on the LLaMA series models, enabling translation support across more than 100 languages. Through a comprehensive analysis of training strategies, such as vocabulary expansion and data augmentation, we develop LLaMAX. Remarkably, without sacrificing its generalization ability, LLaMAX achieves significantly higher translation performance compared to existing open-source LLMs~(by more than 10 spBLEU points) and performs on-par with specialized translation model~(M2M-100-12B) on the Flores-101 benchmark. Extensive experiments indicate that LLaMAX can serve as a robust multilingual foundation model. The code~\url{https://github.com/CONE-MT/LLaMAX/.} and models~\url{https://huggingface.co/LLaMAX/.} are publicly available.