Traduction de la traduction automatique à faibles ressources à travers le prisme de l'apprentissage fédéral personnalisé

Low-Resource Machine Translation through the Lens of Personalized Federated Learning

June 18, 2024

Auteurs: Viktor Moskvoretskii, Nazarii Tupitsa, Chris Biemann, Samuel Horváth, Eduard Gorbunov, Irina Nikishina

cs.AI

Résumé

Nous présentons une nouvelle approche basée sur l'algorithme d'apprentissage fédéré personnalisé MeritFed, qui peut être appliquée à des tâches de traitement du langage naturel avec des données hétérogènes. Nous l'évaluons sur la tâche de traduction automatique à faible ressource, en utilisant le jeu de données issu du défi partagé de traduction automatique multilingue à grande échelle (Small Track #2) et le sous-ensemble des langues sames du benchmark multilingue pour les langues finno-ougriennes. En plus de son efficacité, MeritFed est également très interprétable, car il peut être utilisé pour suivre l'impact de chaque langue utilisée pour l'entraînement. Notre analyse révèle que la taille du jeu de données cible affecte la distribution des poids entre les langues auxiliaires, que les langues non apparentées n'interfèrent pas avec l'entraînement, et que les paramètres de l'optimiseur auxiliaire ont un impact minimal. Notre approche est facile à appliquer avec quelques lignes de code, et nous fournissons des scripts pour reproduire les expériences à l'adresse https://github.com/VityaVitalich/MeritFed.

English

We present a new approach based on the Personalized Federated Learning algorithm MeritFed that can be applied to Natural Language Tasks with heterogeneous data. We evaluate it on the Low-Resource Machine Translation task, using the dataset from the Large-Scale Multilingual Machine Translation Shared Task (Small Track #2) and the subset of Sami languages from the multilingual benchmark for Finno-Ugric languages. In addition to its effectiveness, MeritFed is also highly interpretable, as it can be applied to track the impact of each language used for training. Our analysis reveals that target dataset size affects weight distribution across auxiliary languages, that unrelated languages do not interfere with the training, and auxiliary optimizer parameters have minimal impact. Our approach is easy to apply with a few lines of code, and we provide scripts for reproducing the experiments at https://github.com/VityaVitalich/MeritFed