BigTrans: Potenziamento dei Modelli Linguistici di Grande Scala con Capacità di Traduzione Multilingue su oltre 100 Lingue

BigTrans: Augmenting Large Language Models with Multilingual Translation Capability over 100 Languages

May 29, 2023

Autori: Wen Yang, Chong Li, Jiajun Zhang, Chengqing Zong

cs.AI

Abstract

I grandi modelli linguistici (LLM) dimostrano prestazioni promettenti nella traduzione tra varie lingue naturali. Tuttavia, molti LLM, in particolare quelli open-source come BLOOM e LLaMA, sono dominati dall'inglese e supportano solo alcune decine di lingue naturali, rendendo il potenziale degli LLM nella traduzione linguistica meno esplorato. In questo lavoro, presentiamo BigTrans, che adatta LLaMA, che copre solo 20 lingue, e lo potenzia con capacità di traduzione multilingue su oltre 100 lingue. BigTrans è costruito su LLaMA-13B e viene ottimizzato in tre fasi. Innanzitutto, continuiamo ad addestrare LLaMA con un'enorme quantità di dati monolingue cinesi. In secondo luogo, continuiamo l'addestramento del modello con un ampio dataset parallelo che copre 102 lingue naturali. In terzo luogo, ottimizziamo il modello di base con istruzioni di traduzione multilingue, ottenendo così il nostro modello BigTrans. Gli esperimenti preliminari sulla traduzione multilingue mostrano che BigTrans si comporta in modo comparabile a ChatGPT e Google Translate in molte lingue e supera addirittura ChatGPT in 8 coppie linguistiche. Rilasciamo il modello BigTrans con la speranza che possa avanzare il progresso della ricerca.

English

Large language models (LLMs) demonstrate promising translation performance among various natural languages. However, many LLMs especially the open-sourced ones, such as BLOOM and LLaMA, are English-dominant and support only dozens of natural languages, making the potential of LLMs on language translation less explored. In this work, we present BigTrans which adapts LLaMA that covers only 20 languages and enhances it with multilingual translation capability on more than 100 languages. BigTrans is built upon LLaMA-13B and it is optimized in three steps. First, we continue training LLaMA with massive Chinese monolingual data. Second, we continue training the model with a large-scale parallel dataset that covers 102 natural languages. Third, we instruct-tune the foundation model with multilingual translation instructions, leading to our BigTrans model. The preliminary experiments on multilingual translation show that BigTrans performs comparably with ChatGPT and Google Translate in many languages and even outperforms ChatGPT in 8 language pairs. We release the BigTrans model and hope it can advance the research progress.