BigTrans: Расширение возможностей крупных языковых моделей за счет поддержки многоязычного перевода на более чем 100 языков

BigTrans: Augmenting Large Language Models with Multilingual Translation Capability over 100 Languages

May 29, 2023

Авторы: Wen Yang, Chong Li, Jiajun Zhang, Chengqing Zong

cs.AI

Аннотация

Крупные языковые модели (LLM) демонстрируют многообещающие результаты в переводе между различными естественными языками. Однако многие LLM, особенно открытые, такие как BLOOM и LLaMA, ориентированы на английский язык и поддерживают лишь несколько десятков естественных языков, что ограничивает исследование их потенциала в области перевода. В данной работе мы представляем BigTrans, который адаптирует LLaMA, изначально поддерживающую только 20 языков, и расширяет её возможности для перевода на более чем 100 языков. BigTrans построен на основе LLaMA-13B и оптимизирован в три этапа. Сначала мы продолжаем обучение LLaMA на большом объёме монолингвальных данных на китайском языке. Затем мы обучаем модель на крупномасштабном параллельном наборе данных, охватывающем 102 естественных языка. Наконец, мы проводим инструктивное обучение базовой модели с использованием инструкций для многоязычного перевода, что приводит к созданию модели BigTrans. Предварительные эксперименты по многоязычному переводу показывают, что BigTrans сопоставим по качеству с ChatGPT и Google Translate для многих языков и даже превосходит ChatGPT в 8 языковых парах. Мы публикуем модель BigTrans в надежде, что она сможет способствовать прогрессу в исследованиях.

English

Large language models (LLMs) demonstrate promising translation performance among various natural languages. However, many LLMs especially the open-sourced ones, such as BLOOM and LLaMA, are English-dominant and support only dozens of natural languages, making the potential of LLMs on language translation less explored. In this work, we present BigTrans which adapts LLaMA that covers only 20 languages and enhances it with multilingual translation capability on more than 100 languages. BigTrans is built upon LLaMA-13B and it is optimized in three steps. First, we continue training LLaMA with massive Chinese monolingual data. Second, we continue training the model with a large-scale parallel dataset that covers 102 natural languages. Third, we instruct-tune the foundation model with multilingual translation instructions, leading to our BigTrans model. The preliminary experiments on multilingual translation show that BigTrans performs comparably with ChatGPT and Google Translate in many languages and even outperforms ChatGPT in 8 language pairs. We release the BigTrans model and hope it can advance the research progress.