LLaMAX: Ampliare gli orizzonti linguistici dei modelli linguistici di grandi dimensioni potenziando le capacità di traduzione oltre 100 lingue

LLaMAX: Scaling Linguistic Horizons of LLM by Enhancing Translation Capabilities Beyond 100 Languages

July 8, 2024

Autori: Yinquan Lu, Wenhao Zhu, Lei Li, Yu Qiao, Fei Yuan

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) dimostrano capacità di traduzione notevoli nei compiti che coinvolgono lingue ad alta risorsa, ma le loro prestazioni nelle lingue a bassa risorsa sono limitate dalla carenza di dati multilingue durante la pre-addestramento. Per affrontare questo problema, abbiamo dedicato 35.000 ore di GPU A100-SXM4-80GB per condurre un esteso pre-addestramento multilingue continuo sui modelli della serie LLaMA, abilitando il supporto alla traduzione per oltre 100 lingue. Attraverso un'analisi approfondita delle strategie di addestramento, come l'espansione del vocabolario e l'aumento dei dati, abbiamo sviluppato LLaMAX. In modo significativo, senza sacrificare la sua capacità di generalizzazione, LLaMAX raggiunge prestazioni di traduzione notevolmente superiori rispetto agli LLM open-source esistenti (con un miglioramento di oltre 10 punti spBLEU) e si colloca allo stesso livello di un modello di traduzione specializzato (M2M-100-12B) nel benchmark Flores-101. Esperimenti estensivi indicano che LLaMAX può servire come un solido modello di base multilingue. Il codice~\url{https://github.com/CONE-MT/LLaMAX/.} e i modelli~\url{https://huggingface.co/LLaMAX/.} sono pubblicamente disponibili.

English

Large Language Models~(LLMs) demonstrate remarkable translation capabilities in high-resource language tasks, yet their performance in low-resource languages is hindered by insufficient multilingual data during pre-training. To address this, we dedicate 35,000 A100-SXM4-80GB GPU hours in conducting extensive multilingual continual pre-training on the LLaMA series models, enabling translation support across more than 100 languages. Through a comprehensive analysis of training strategies, such as vocabulary expansion and data augmentation, we develop LLaMAX. Remarkably, without sacrificing its generalization ability, LLaMAX achieves significantly higher translation performance compared to existing open-source LLMs~(by more than 10 spBLEU points) and performs on-par with specialized translation model~(M2M-100-12B) on the Flores-101 benchmark. Extensive experiments indicate that LLaMAX can serve as a robust multilingual foundation model. The code~\url{https://github.com/CONE-MT/LLaMAX/.} and models~\url{https://huggingface.co/LLaMAX/.} are publicly available.