리우스: 쿠팡 말레이어에서의 지속적 지시 튜닝을 활용한 번역 모델 기반 교수 언어학

초록

대규모 언어 모델(LLM)은 번역 작업에서 새로운 잠재력을 제공하지만, 저자원 언어를 처리할 때 성능 저하를 겪는 경우가 많다. 이러한 한계를 해결하기 위해, 우리는 저자원 언어인 쿠팡 말레이어(Kupang Malay)에 대해 LLM을 미세 조정하는 접근법을 제안한다. 우리의 접근법은 이중 언어 사전의 명시적 어휘 및 의미적 특징을 활용하여 일련의 명령어를 설계하고, 반복적인 명령어 기반 훈련을 가능하게 하는 훈련 패러다임인 지속적 명령어 튜닝(CIT, Continual Instruction Tuning)을 도입하는 것이다. 실험 결과, Lius라고 명명된 우리의 모델은 여러 평가 지표에서 표준 명령어 튜닝 모델보다 4-6포인트, 신경 기계 번역(NMT) 및 다국어 LLM 모델보다 10-13포인트 뛰어난 성능을 보이며 유의미한 개선을 달성했다. 이러한 발견은 저자원 언어 번역에서 대규모 병렬 데이터에 대한 의존도를 완화할 수 있는 우리 접근법의 잠재력을 강조한다.

English

Large Language Models (LLMs) offer new potential for translation tasks but often experience performance degradation when handling low-resource languages. To address this limitation, we propose an approach for fine-tuning LLMs on a low-resource language, Kupang Malay. Our approach involves designing a set of instructions by leveraging explicit lexical and semantic features from a bilingual dictionary, and introducing Continual Instruction Tuning (CIT), a training paradigm that enables iterative instruction-based training. Experimental results demonstrate that our model, named Lius, yields notable improvements over standard instruction-tuned models by outperforming 4-6 points, and surpassing both Neural Machine Translation (NMT) and Multilingual LLM models by 10-13 points on several evaluation metrics. These findings highlight the potential of our approach to mitigate the reliance on large-scale parallel data in low-resource language translation.