Réglage des LLM avec des instructions d'alignement contrastif pour la traduction automatique dans des langues non vues et à faibles ressources

Tuning LLMs with Contrastive Alignment Instructions for Machine Translation in Unseen, Low-resource Languages

January 11, 2024

Auteurs: Zhuoyuan Mao, Yen Yu

cs.AI

Résumé

Cet article présente les instructions d'alignement contrastif (AlignInstruct) pour aborder deux défis dans la traduction automatique (TA) sur les grands modèles de langage (LLM). Le premier concerne l'extension des langues prises en charge à des langues précédemment inexplorées. Le second est lié au manque de données dans les langues à ressources limitées. L'ajustement fin des modèles via des instructions de traduction automatique (MTInstruct) est une approche directe pour relever le premier défi. Cependant, MTInstruct est limité par les signaux interlinguistiques faibles inhérents au second défi. AlignInstruct met l'accent sur la supervision interlinguistique via un discriminateur interlinguistique construit à l'aide d'alignements de mots statistiques. Nos résultats, basés sur l'ajustement fin des modèles BLOOMZ (1b1, 3b et 7b1) dans jusqu'à 24 langues inexplorées, ont montré que : (1) les LLM peuvent traduire efficacement des langues inexplorées en utilisant MTInstruct ; (2) AlignInstruct a conduit à des améliorations constantes de la qualité de traduction dans 48 directions de traduction impliquant l'anglais ; (3) les instructions basées sur un discriminateur ont surpassé leurs homologues génératives en tant qu'instructions interlinguistiques ; (4) AlignInstruct a amélioré les performances dans 30 directions en zéro-shot.

English

This article introduces contrastive alignment instructions (AlignInstruct) to address two challenges in machine translation (MT) on large language models (LLMs). One is the expansion of supported languages to previously unseen ones. The second relates to the lack of data in low-resource languages. Model fine-tuning through MT instructions (MTInstruct) is a straightforward approach to the first challenge. However, MTInstruct is limited by weak cross-lingual signals inherent in the second challenge. AlignInstruct emphasizes cross-lingual supervision via a cross-lingual discriminator built using statistical word alignments. Our results based on fine-tuning the BLOOMZ models (1b1, 3b, and 7b1) in up to 24 unseen languages showed that: (1) LLMs can effectively translate unseen languages using MTInstruct; (2) AlignInstruct led to consistent improvements in translation quality across 48 translation directions involving English; (3) Discriminator-based instructions outperformed their generative counterparts as cross-lingual instructions; (4) AlignInstruct improved performance in 30 zero-shot directions.