Het afstemmen van grote taalmodelen met contrastieve uitlijningsinstructies voor machinale vertaling in onbekende, taalarme talen

Tuning LLMs with Contrastive Alignment Instructions for Machine Translation in Unseen, Low-resource Languages

January 11, 2024

Auteurs: Zhuoyuan Mao, Yen Yu

cs.AI

Samenvatting

Dit artikel introduceert contrastieve uitlijningsinstructies (AlignInstruct) om twee uitdagingen in machinaal vertalen (MT) bij grote taalmodelen (LLMs) aan te pakken. De eerste is de uitbreiding van ondersteunde talen naar voorheen onbekende talen. De tweede betreft het gebrek aan data in talen met weinig bronnen. Modelafstemming via MT-instructies (MTInstruct) is een rechttoe rechtaan aanpak voor de eerste uitdaging. MTInstruct wordt echter beperkt door zwakke cross-linguale signalen die inherent zijn aan de tweede uitdaging. AlignInstruct benadrukt cross-linguale supervisie via een cross-linguale discriminator die is opgebouwd met behulp van statistische woorduitlijningen. Onze resultaten, gebaseerd op het afstemmen van de BLOOMZ-modellen (1b1, 3b en 7b1) in maximaal 24 onbekende talen, toonden aan dat: (1) LLMs effectief onbekende talen kunnen vertalen met MTInstruct; (2) AlignInstruct leidde tot consistente verbeteringen in vertaalkwaliteit over 48 vertaalrichtingen waarbij Engels betrokken was; (3) Discriminator-gebaseerde instructies presteerden beter dan hun generatieve tegenhangers als cross-linguale instructies; (4) AlignInstruct verbeterde de prestaties in 30 zero-shot richtingen.

English

This article introduces contrastive alignment instructions (AlignInstruct) to address two challenges in machine translation (MT) on large language models (LLMs). One is the expansion of supported languages to previously unseen ones. The second relates to the lack of data in low-resource languages. Model fine-tuning through MT instructions (MTInstruct) is a straightforward approach to the first challenge. However, MTInstruct is limited by weak cross-lingual signals inherent in the second challenge. AlignInstruct emphasizes cross-lingual supervision via a cross-lingual discriminator built using statistical word alignments. Our results based on fine-tuning the BLOOMZ models (1b1, 3b, and 7b1) in up to 24 unseen languages showed that: (1) LLMs can effectively translate unseen languages using MTInstruct; (2) AlignInstruct led to consistent improvements in translation quality across 48 translation directions involving English; (3) Discriminator-based instructions outperformed their generative counterparts as cross-lingual instructions; (4) AlignInstruct improved performance in 30 zero-shot directions.