Порядок имеет значение при наличии дисбаланса данных в многозадачном обучении

Order Matters in the Presence of Dataset Imbalance for Multilingual Learning

December 11, 2023

Авторы: Dami Choi, Derrick Xin, Hamid Dadkhahi, Justin Gilmer, Ankush Garg, Orhan Firat, Chih-Kuan Yeh, Andrew M. Dai, Behrooz Ghorbani

cs.AI

Аннотация

В данной работе мы эмпирически исследуем динамику оптимизации в многозадачном обучении, уделяя особое внимание тем аспектам, которые управляют набором задач с существенным дисбалансом данных. Мы представляем простой, но эффективный метод, включающий предварительное обучение на задачах с большим объемом данных с последующей тонкой настройкой на смеси задач с высоким и низким объемом данных. Мы проводим детальное эмпирическое исследование и анализ преимуществ этого метода, демонстрируя, что он обеспечивает стабильные улучшения по сравнению с профилем компромиссов производительности стандартного статического взвешивания. Мы анализируем, в каких условиях данных этот метод применим, и эмпирически показываем его улучшения в задачах нейронного машинного перевода (NMT) и многоязычного языкового моделирования.

English

In this paper, we empirically study the optimization dynamics of multi-task learning, particularly focusing on those that govern a collection of tasks with significant data imbalance. We present a simple yet effective method of pre-training on high-resource tasks, followed by fine-tuning on a mixture of high/low-resource tasks. We provide a thorough empirical study and analysis of this method's benefits showing that it achieves consistent improvements relative to the performance trade-off profile of standard static weighting. We analyze under what data regimes this method is applicable and show its improvements empirically in neural machine translation (NMT) and multi-lingual language modeling.