BigTrans: Aumento de Modelos de Lenguaje a Gran Escala con Capacidad de Traducción Multilingüe para más de 100 Idiomas

BigTrans: Augmenting Large Language Models with Multilingual Translation Capability over 100 Languages

May 29, 2023

Autores: Wen Yang, Chong Li, Jiajun Zhang, Chengqing Zong

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) demuestran un rendimiento prometedor en la traducción entre diversos idiomas naturales. Sin embargo, muchos LLMs, especialmente los de código abierto como BLOOM y LLaMA, están dominados por el inglés y solo admiten docenas de idiomas naturales, lo que hace que el potencial de los LLMs en la traducción de idiomas esté menos explorado. En este trabajo, presentamos BigTrans, que adapta LLaMA, que cubre solo 20 idiomas, y lo mejora con capacidad de traducción multilingüe en más de 100 idiomas. BigTrans se construye sobre LLaMA-13B y se optimiza en tres pasos. Primero, continuamos entrenando LLaMA con una gran cantidad de datos monolingües en chino. Segundo, continuamos entrenando el modelo con un conjunto de datos paralelos a gran escala que cubre 102 idiomas naturales. Tercero, ajustamos el modelo base mediante instrucciones de traducción multilingüe, lo que da lugar a nuestro modelo BigTrans. Los experimentos preliminares en traducción multilingüe muestran que BigTrans tiene un rendimiento comparable con ChatGPT y Google Translate en muchos idiomas e incluso supera a ChatGPT en 8 pares de idiomas. Publicamos el modelo BigTrans con la esperanza de que pueda impulsar el progreso de la investigación.

English

Large language models (LLMs) demonstrate promising translation performance among various natural languages. However, many LLMs especially the open-sourced ones, such as BLOOM and LLaMA, are English-dominant and support only dozens of natural languages, making the potential of LLMs on language translation less explored. In this work, we present BigTrans which adapts LLaMA that covers only 20 languages and enhances it with multilingual translation capability on more than 100 languages. BigTrans is built upon LLaMA-13B and it is optimized in three steps. First, we continue training LLaMA with massive Chinese monolingual data. Second, we continue training the model with a large-scale parallel dataset that covers 102 natural languages. Third, we instruct-tune the foundation model with multilingual translation instructions, leading to our BigTrans model. The preliminary experiments on multilingual translation show that BigTrans performs comparably with ChatGPT and Google Translate in many languages and even outperforms ChatGPT in 8 language pairs. We release the BigTrans model and hope it can advance the research progress.