보이지 않는 저자원 언어에서의 기계 번역을 위한 대조 정렬 지침으로 LLM 튜닝하기

초록

본 논문은 대규모 언어 모델(LLM) 기반 기계 번역(MT)에서의 두 가지 과제를 해결하기 위해 대조 정렬 지시(AlignInstruct)를 소개한다. 첫 번째 과제는 이전에 다루지 않았던 새로운 언어로의 지원 범위 확장이며, 두 번째 과제는 저자원 언어에서의 데이터 부족 문제이다. MT 지시(MTInstruct)를 통한 모델 미세 조정은 첫 번째 과제에 대한 직관적인 접근법이다. 그러나 MTInstruct는 두 번째 과제에 내재된 약한 교차 언어 신호로 인해 한계가 있다. AlignInstruct는 통계적 단어 정렬을 통해 구축된 교차 언어 판별기를 사용하여 교차 언어 감독을 강조한다. BLOOMZ 모델(1b1, 3b, 7b1)을 최대 24개의 새로운 언어로 미세 조정한 결과는 다음과 같다: (1) LLM은 MTInstruct를 사용하여 새로운 언어를 효과적으로 번역할 수 있다; (2) AlignInstruct는 영어를 포함한 48개 번역 방향에서 일관된 번역 품질 개선을 이끌었다; (3) 판별기 기반 지시는 생성적 대안보다 교차 언어 지시로서 더 우수한 성능을 보였다; (4) AlignInstruct는 30개의 제로샷 방향에서 성능을 향상시켰다.

English

This article introduces contrastive alignment instructions (AlignInstruct) to address two challenges in machine translation (MT) on large language models (LLMs). One is the expansion of supported languages to previously unseen ones. The second relates to the lack of data in low-resource languages. Model fine-tuning through MT instructions (MTInstruct) is a straightforward approach to the first challenge. However, MTInstruct is limited by weak cross-lingual signals inherent in the second challenge. AlignInstruct emphasizes cross-lingual supervision via a cross-lingual discriminator built using statistical word alignments. Our results based on fine-tuning the BLOOMZ models (1b1, 3b, and 7b1) in up to 24 unseen languages showed that: (1) LLMs can effectively translate unseen languages using MTInstruct; (2) AlignInstruct led to consistent improvements in translation quality across 48 translation directions involving English; (3) Discriminator-based instructions outperformed their generative counterparts as cross-lingual instructions; (4) AlignInstruct improved performance in 30 zero-shot directions.

보이지 않는 저자원 언어에서의 기계 번역을 위한 대조 정렬 지침으로 LLM 튜닝하기

Tuning LLMs with Contrastive Alignment Instructions for Machine Translation in Unseen, Low-resource Languages

초록

Support