데이터셋 불균형 상황에서 다국어 학습을 할 때 순서가 중요하다

Order Matters in the Presence of Dataset Imbalance for Multilingual Learning

December 11, 2023

저자: Dami Choi, Derrick Xin, Hamid Dadkhahi, Justin Gilmer, Ankush Garg, Orhan Firat, Chih-Kuan Yeh, Andrew M. Dai, Behrooz Ghorbani

cs.AI

초록

본 논문에서는 데이터 불균형이 심한 다중 작업 집합을 지배하는 최적화 동역학을 실증적으로 연구하며, 특히 이러한 사례에 초점을 맞춥니다. 우리는 고자원 작업에 대한 사전 학습과 고/저자원 작업 혼합에 대한 미세 조정을 결합한 간단하지만 효과적인 방법을 제시합니다. 이 방법의 이점에 대한 철저한 실증 연구와 분석을 통해, 표준 정적 가중치 방식의 성능 트레이드오프 프로파일 대비 일관된 개선을 달성함을 보여줍니다. 또한 이 방법이 적용 가능한 데이터 체계를 분석하고, 신경망 기계 번역(NMT) 및 다국어 언어 모델링에서의 실증적 개선을 입증합니다.

English

In this paper, we empirically study the optimization dynamics of multi-task learning, particularly focusing on those that govern a collection of tasks with significant data imbalance. We present a simple yet effective method of pre-training on high-resource tasks, followed by fine-tuning on a mixture of high/low-resource tasks. We provide a thorough empirical study and analysis of this method's benefits showing that it achieves consistent improvements relative to the performance trade-off profile of standard static weighting. We analyze under what data regimes this method is applicable and show its improvements empirically in neural machine translation (NMT) and multi-lingual language modeling.