Машинный перевод с ограниченными ресурсами через призму персонализированного федеративного обучения.

Low-Resource Machine Translation through the Lens of Personalized Federated Learning

June 18, 2024

Авторы: Viktor Moskvoretskii, Nazarii Tupitsa, Chris Biemann, Samuel Horváth, Eduard Gorbunov, Irina Nikishina

cs.AI

Аннотация

Мы представляем новый подход на основе алгоритма персонализированного федеративного обучения MeritFed, который может быть применен к задачам естественного языка с гетерогенными данными. Мы оцениваем его на задаче машинного перевода с низкими ресурсами, используя набор данных из задачи машинного перевода на многоязычном крупном масштабе (малый трек №2) и подмножество языков саамской группы из многоязычного бенчмарка для финно-угорских языков. Помимо его эффективности, MeritFed также обладает высокой интерпретируемостью, поскольку его можно применять для отслеживания влияния каждого языка, используемого для обучения. Наш анализ показывает, что размер целевого набора данных влияет на распределение весов по вспомогательным языкам, что несвязанные языки не мешают обучению, и параметры вспомогательного оптимизатора имеют минимальное влияние. Наш подход легко применить с помощью нескольких строк кода, и мы предоставляем скрипты для воспроизведения экспериментов по ссылке https://github.com/VityaVitalich/MeritFed

English

We present a new approach based on the Personalized Federated Learning algorithm MeritFed that can be applied to Natural Language Tasks with heterogeneous data. We evaluate it on the Low-Resource Machine Translation task, using the dataset from the Large-Scale Multilingual Machine Translation Shared Task (Small Track #2) and the subset of Sami languages from the multilingual benchmark for Finno-Ugric languages. In addition to its effectiveness, MeritFed is also highly interpretable, as it can be applied to track the impact of each language used for training. Our analysis reveals that target dataset size affects weight distribution across auxiliary languages, that unrelated languages do not interfere with the training, and auxiliary optimizer parameters have minimal impact. Our approach is easy to apply with a few lines of code, and we provide scripts for reproducing the experiments at https://github.com/VityaVitalich/MeritFed