BigTrans: Aprimorando Modelos de Linguagem de Grande Escala com Capacidade de Tradução Multilíngue para mais de 100 Idiomas

BigTrans: Augmenting Large Language Models with Multilingual Translation Capability over 100 Languages

May 29, 2023

Autores: Wen Yang, Chong Li, Jiajun Zhang, Chengqing Zong

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) demonstram desempenho promissor em tradução entre diversos idiomas naturais. No entanto, muitos LLMs, especialmente os de código aberto, como BLOOM e LLaMA, são predominantemente em inglês e suportam apenas dezenas de idiomas naturais, o que faz com que o potencial dos LLMs em tradução de idiomas seja menos explorado. Neste trabalho, apresentamos o BigTrans, que adapta o LLaMA, que cobre apenas 20 idiomas, e o aprimora com capacidade de tradução multilíngue para mais de 100 idiomas. O BigTrans é construído com base no LLaMA-13B e é otimizado em três etapas. Primeiro, continuamos o treinamento do LLaMA com uma grande quantidade de dados monolíngues em chinês. Segundo, continuamos o treinamento do modelo com um conjunto de dados paralelos em larga escala que abrange 102 idiomas naturais. Terceiro, ajustamos o modelo base com instruções de tradução multilíngue, resultando no nosso modelo BigTrans. Os experimentos preliminares em tradução multilíngue mostram que o BigTrans tem um desempenho comparável ao ChatGPT e ao Google Translate em muitos idiomas e até supera o ChatGPT em 8 pares de idiomas. Disponibilizamos o modelo BigTrans e esperamos que ele possa avançar o progresso da pesquisa.

English

Large language models (LLMs) demonstrate promising translation performance among various natural languages. However, many LLMs especially the open-sourced ones, such as BLOOM and LLaMA, are English-dominant and support only dozens of natural languages, making the potential of LLMs on language translation less explored. In this work, we present BigTrans which adapts LLaMA that covers only 20 languages and enhances it with multilingual translation capability on more than 100 languages. BigTrans is built upon LLaMA-13B and it is optimized in three steps. First, we continue training LLaMA with massive Chinese monolingual data. Second, we continue training the model with a large-scale parallel dataset that covers 102 natural languages. Third, we instruct-tune the foundation model with multilingual translation instructions, leading to our BigTrans model. The preliminary experiments on multilingual translation show that BigTrans performs comparably with ChatGPT and Google Translate in many languages and even outperforms ChatGPT in 8 language pairs. We release the BigTrans model and hope it can advance the research progress.