未知の低リソース言語における機械翻訳のための対照的アライメント指示を用いたLLMのチューニング

Tuning LLMs with Contrastive Alignment Instructions for Machine Translation in Unseen, Low-resource Languages

January 11, 2024

著者: Zhuoyuan Mao, Yen Yu

cs.AI

要旨

本論文では、大規模言語モデル（LLM）における機械翻訳（MT）の2つの課題に対処するため、対照的アライメント指示（AlignInstruct）を紹介する。1つ目の課題は、未対応言語への対応範囲の拡大であり、2つ目の課題は低リソース言語におけるデータ不足である。MT指示（MTInstruct）によるモデルのファインチューニングは、1つ目の課題に対する直接的なアプローチである。しかし、MTInstructは2つ目の課題に内在する弱い言語間シグナルによって制限される。AlignInstructは、統計的単語アライメントを用いて構築された言語間識別器を通じて、言語間の監督を強調する。BLOOMZモデル（1b1、3b、7b1）を最大24の未対応言語でファインチューニングした結果、以下のことが明らかになった：（1）LLMはMTInstructを使用して未対応言語を効果的に翻訳できる；（2）AlignInstructは、英語を含む48の翻訳方向において翻訳品質の一貫した向上をもたらした；（3）識別器ベースの指示は、生成ベースの指示よりも言語間指示として優れていた；（4）AlignInstructは30のゼロショット方向において性能を向上させた。

English

This article introduces contrastive alignment instructions (AlignInstruct) to address two challenges in machine translation (MT) on large language models (LLMs). One is the expansion of supported languages to previously unseen ones. The second relates to the lack of data in low-resource languages. Model fine-tuning through MT instructions (MTInstruct) is a straightforward approach to the first challenge. However, MTInstruct is limited by weak cross-lingual signals inherent in the second challenge. AlignInstruct emphasizes cross-lingual supervision via a cross-lingual discriminator built using statistical word alignments. Our results based on fine-tuning the BLOOMZ models (1b1, 3b, and 7b1) in up to 24 unseen languages showed that: (1) LLMs can effectively translate unseen languages using MTInstruct; (2) AlignInstruct led to consistent improvements in translation quality across 48 translation directions involving English; (3) Discriminator-based instructions outperformed their generative counterparts as cross-lingual instructions; (4) AlignInstruct improved performance in 30 zero-shot directions.