Настройка крупных языковых моделей с использованием контрастных инструкций выравнивания для машинного перевода на неизученных языках с ограниченными ресурсами
Tuning LLMs with Contrastive Alignment Instructions for Machine Translation in Unseen, Low-resource Languages
January 11, 2024
Авторы: Zhuoyuan Mao, Yen Yu
cs.AI
Аннотация
В данной статье представлены инструкции контрастного выравнивания (AlignInstruct) для решения двух проблем в машинном переводе (MT) на основе крупных языковых моделей (LLM). Первая проблема заключается в расширении поддерживаемых языков на ранее неизученные. Вторая связана с недостатком данных для языков с ограниченными ресурсами. Тонкая настройка модели с помощью инструкций машинного перевода (MTInstruct) является прямым подходом к решению первой проблемы. Однако MTInstruct ограничена слабыми кросс-лингвистическими сигналами, присущими второй проблеме. AlignInstruct акцентирует внимание на кросс-лингвистическом контроле с использованием кросс-лингвистического дискриминатора, построенного на основе статистического выравнивания слов. Наши результаты, основанные на тонкой настройке моделей BLOOMZ (1b1, 3b и 7b1) для 24 ранее неизученных языков, показали следующее: (1) LLM могут эффективно переводить неизученные языки с использованием MTInstruct; (2) AlignInstruct привела к устойчивому улучшению качества перевода в 48 направлениях перевода с участием английского языка; (3) Инструкции на основе дискриминатора превзошли свои генеративные аналоги в качестве кросс-лингвистических инструкций; (4) AlignInstruct улучшила производительность в 30 направлениях с нулевым обучением.
English
This article introduces contrastive alignment instructions (AlignInstruct) to
address two challenges in machine translation (MT) on large language models
(LLMs). One is the expansion of supported languages to previously unseen ones.
The second relates to the lack of data in low-resource languages. Model
fine-tuning through MT instructions (MTInstruct) is a straightforward approach
to the first challenge. However, MTInstruct is limited by weak cross-lingual
signals inherent in the second challenge. AlignInstruct emphasizes
cross-lingual supervision via a cross-lingual discriminator built using
statistical word alignments. Our results based on fine-tuning the BLOOMZ models
(1b1, 3b, and 7b1) in up to 24 unseen languages showed that: (1) LLMs can
effectively translate unseen languages using MTInstruct; (2) AlignInstruct led
to consistent improvements in translation quality across 48 translation
directions involving English; (3) Discriminator-based instructions outperformed
their generative counterparts as cross-lingual instructions; (4) AlignInstruct
improved performance in 30 zero-shot directions.