データセットの不均衡が存在する場合の多言語学習において、順序が重要である

Order Matters in the Presence of Dataset Imbalance for Multilingual Learning

December 11, 2023

著者: Dami Choi, Derrick Xin, Hamid Dadkhahi, Justin Gilmer, Ankush Garg, Orhan Firat, Chih-Kuan Yeh, Andrew M. Dai, Behrooz Ghorbani

cs.AI

要旨

本論文では、特にデータの不均衡が顕著なタスク群を対象として、マルチタスク学習の最適化ダイナミクスを実証的に研究する。我々は、高リソースタスクでの事前学習を行った後、高リソース/低リソースタスクの混合データでファインチューニングを行うという、シンプルでありながら効果的な手法を提案する。この手法の利点について詳細な実証研究と分析を行い、標準的な静的重み付けの性能トレードオフプロファイルと比較して一貫した改善が得られることを示す。さらに、この手法が適用可能なデータ体制を分析し、ニューラル機械翻訳（NMT）および多言語言語モデリングにおいてその改善効果を実証的に示す。

English

In this paper, we empirically study the optimization dynamics of multi-task learning, particularly focusing on those that govern a collection of tasks with significant data imbalance. We present a simple yet effective method of pre-training on high-resource tasks, followed by fine-tuning on a mixture of high/low-resource tasks. We provide a thorough empirical study and analysis of this method's benefits showing that it achieves consistent improvements relative to the performance trade-off profile of standard static weighting. We analyze under what data regimes this method is applicable and show its improvements empirically in neural machine translation (NMT) and multi-lingual language modeling.