BigTrans: Uitbreiding van Grote Taalmodellen met Meertalige Vertaalcapaciteit voor meer dan 100 Talen

BigTrans: Augmenting Large Language Models with Multilingual Translation Capability over 100 Languages

May 29, 2023

Auteurs: Wen Yang, Chong Li, Jiajun Zhang, Chengqing Zong

cs.AI

Samenvatting

Grote taalmodellen (LLM's) tonen veelbelovende vertaalprestaties voor verschillende natuurlijke talen. Veel LLM's, met name de open-source modellen zoals BLOOM en LLaMA, zijn echter Engelstalig dominant en ondersteunen slechts enkele tientallen natuurlijke talen, waardoor het potentieel van LLM's voor taalvertaling minder verkend is. In dit werk presenteren we BigTrans, dat LLaMA, dat slechts 20 talen ondersteunt, aanpast en uitbreidt met meertalige vertaalcapaciteit voor meer dan 100 talen. BigTrans is gebaseerd op LLaMA-13B en wordt in drie stappen geoptimaliseerd. Eerst trainen we LLaMA verder met enorme hoeveelheden Chinese eentalige data. Vervolgens trainen we het model verder met een grootschalige parallelle dataset die 102 natuurlijke talen omvat. Ten slotte instruct-afstemmen we het basismodel met meertalige vertaalinstructies, wat resulteert in ons BigTrans-model. De eerste experimenten met meertalige vertaling laten zien dat BigTrans vergelijkbaar presteert met ChatGPT en Google Translate voor veel talen en ChatGPT zelfs overtreft voor 8 taalparen. We maken het BigTrans-model beschikbaar en hopen dat het de onderzoeksvooruitgang kan bevorderen.

English

Large language models (LLMs) demonstrate promising translation performance among various natural languages. However, many LLMs especially the open-sourced ones, such as BLOOM and LLaMA, are English-dominant and support only dozens of natural languages, making the potential of LLMs on language translation less explored. In this work, we present BigTrans which adapts LLaMA that covers only 20 languages and enhances it with multilingual translation capability on more than 100 languages. BigTrans is built upon LLaMA-13B and it is optimized in three steps. First, we continue training LLaMA with massive Chinese monolingual data. Second, we continue training the model with a large-scale parallel dataset that covers 102 natural languages. Third, we instruct-tune the foundation model with multilingual translation instructions, leading to our BigTrans model. The preliminary experiments on multilingual translation show that BigTrans performs comparably with ChatGPT and Google Translate in many languages and even outperforms ChatGPT in 8 language pairs. We release the BigTrans model and hope it can advance the research progress.