Maschinelle Übersetzung mit geringen Ressourcen aus der Perspektive des personalisierten Föderierten Lernens

Low-Resource Machine Translation through the Lens of Personalized Federated Learning

June 18, 2024

Autoren: Viktor Moskvoretskii, Nazarii Tupitsa, Chris Biemann, Samuel Horváth, Eduard Gorbunov, Irina Nikishina

cs.AI

Zusammenfassung

Wir präsentieren einen neuen Ansatz, der auf dem personalisierten federierten Lernalgorithmus MeritFed basiert und auf natürlichsprachliche Aufgaben mit heterogenen Daten angewendet werden kann. Wir evaluieren diesen Ansatz anhand der Aufgabe der maschinellen Übersetzung mit geringen Ressourcen unter Verwendung des Datensatzes der Shared Task für maschinelle Übersetzung in großem Maßstab (Small Track #2) und des Teils der samischen Sprachen aus dem mehrsprachigen Benchmark für finno-ugrische Sprachen. Neben seiner Effektivität ist MeritFed auch äußerst interpretierbar, da er verwendet werden kann, um den Einfluss jeder Sprache, die für das Training verwendet wird, nachzuverfolgen. Unsere Analyse zeigt, dass die Größe des Ziel-Datensatzes die Gewichtsverteilung über die Hilfssprachen beeinflusst, dass nicht verwandte Sprachen das Training nicht beeinträchtigen und dass die Hilfs-Optimierungsparameter nur minimalen Einfluss haben. Unser Ansatz ist einfach mit wenigen Codezeilen anzuwenden, und wir stellen Skripte zur Verfügung, um die Experimente unter https://github.com/VityaVitalich/MeritFed reproduzieren zu können.

English

We present a new approach based on the Personalized Federated Learning algorithm MeritFed that can be applied to Natural Language Tasks with heterogeneous data. We evaluate it on the Low-Resource Machine Translation task, using the dataset from the Large-Scale Multilingual Machine Translation Shared Task (Small Track #2) and the subset of Sami languages from the multilingual benchmark for Finno-Ugric languages. In addition to its effectiveness, MeritFed is also highly interpretable, as it can be applied to track the impact of each language used for training. Our analysis reveals that target dataset size affects weight distribution across auxiliary languages, that unrelated languages do not interfere with the training, and auxiliary optimizer parameters have minimal impact. Our approach is easy to apply with a few lines of code, and we provide scripts for reproducing the experiments at https://github.com/VityaVitalich/MeritFed