De volgorde is van belang in aanwezigheid van datasetonbalans bij meertalig leren
Order Matters in the Presence of Dataset Imbalance for Multilingual Learning
December 11, 2023
Auteurs: Dami Choi, Derrick Xin, Hamid Dadkhahi, Justin Gilmer, Ankush Garg, Orhan Firat, Chih-Kuan Yeh, Andrew M. Dai, Behrooz Ghorbani
cs.AI
Samenvatting
In dit artikel bestuderen we empirisch de optimalisatiedynamiek van multi-task leren, met name gericht op die welke een verzameling taken beheersen met een aanzienlijke data-onbalans. We presenteren een eenvoudige maar effectieve methode van vooraf trainen op taken met veel resources, gevolgd door fine-tuning op een mix van taken met veel/weinig resources. We bieden een grondige empirische studie en analyse van de voordelen van deze methode, waaruit blijkt dat deze consistente verbeteringen bereikt ten opzichte van het prestatie-afwegingprofiel van standaard statische weging. We analyseren onder welke data-regimes deze methode toepasbaar is en tonen de verbeteringen empirisch aan in neurale machinevertaling (NMT) en meertalige taalmodellering.
English
In this paper, we empirically study the optimization dynamics of multi-task
learning, particularly focusing on those that govern a collection of tasks with
significant data imbalance. We present a simple yet effective method of
pre-training on high-resource tasks, followed by fine-tuning on a mixture of
high/low-resource tasks. We provide a thorough empirical study and analysis of
this method's benefits showing that it achieves consistent improvements
relative to the performance trade-off profile of standard static weighting. We
analyze under what data regimes this method is applicable and show its
improvements empirically in neural machine translation (NMT) and multi-lingual
language modeling.