BigTrans: Erweiterung großer Sprachmodelle um mehrsprachige Übersetzungsfähigkeiten für über 100 Sprachen

BigTrans: Augmenting Large Language Models with Multilingual Translation Capability over 100 Languages

May 29, 2023

Autoren: Wen Yang, Chong Li, Jiajun Zhang, Chengqing Zong

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) zeigen vielversprechende Übersetzungsleistungen über verschiedene natürliche Sprachen hinweg. Allerdings sind viele LLMs, insbesondere die Open-Source-Modelle wie BLOOM und LLaMA, englischdominiert und unterstützen nur Dutzende von natürlichen Sprachen, wodurch das Potenzial von LLMs für die Sprachübersetzung weniger erforscht ist. In dieser Arbeit präsentieren wir BigTrans, das LLaMA, das nur 20 Sprachen abdeckt, anpasst und mit mehrsprachiger Übersetzungsfähigkeit für über 100 Sprachen erweitert. BigTrans basiert auf LLaMA-13B und wird in drei Schritten optimiert. Zunächst trainieren wir LLaMA mit umfangreichen chinesischen monolingualen Daten weiter. Anschließend trainieren wir das Modell mit einem groß angelegten parallelen Datensatz, der 102 natürliche Sprachen abdeckt. Schließlich instruktions-finetunen wir das Basismodell mit mehrsprachigen Übersetzungsanweisungen, was zu unserem BigTrans-Modell führt. Die vorläufigen Experimente zur mehrsprachigen Übersetzung zeigen, dass BigTrans in vielen Sprachen vergleichbar mit ChatGPT und Google Translate abschneidet und sogar ChatGPT in 8 Sprachpaaren übertrifft. Wir veröffentlichen das BigTrans-Modell und hoffen, dass es den Forschungsfortschritt vorantreiben kann.

English

Large language models (LLMs) demonstrate promising translation performance among various natural languages. However, many LLMs especially the open-sourced ones, such as BLOOM and LLaMA, are English-dominant and support only dozens of natural languages, making the potential of LLMs on language translation less explored. In this work, we present BigTrans which adapts LLaMA that covers only 20 languages and enhances it with multilingual translation capability on more than 100 languages. BigTrans is built upon LLaMA-13B and it is optimized in three steps. First, we continue training LLaMA with massive Chinese monolingual data. Second, we continue training the model with a large-scale parallel dataset that covers 102 natural languages. Third, we instruct-tune the foundation model with multilingual translation instructions, leading to our BigTrans model. The preliminary experiments on multilingual translation show that BigTrans performs comparably with ChatGPT and Google Translate in many languages and even outperforms ChatGPT in 8 language pairs. We release the BigTrans model and hope it can advance the research progress.