Tradução Automática de Baixo Recurso Através da Perspectiva da Aprendizagem Federada Personalizada
Low-Resource Machine Translation through the Lens of Personalized Federated Learning
June 18, 2024
Autores: Viktor Moskvoretskii, Nazarii Tupitsa, Chris Biemann, Samuel Horváth, Eduard Gorbunov, Irina Nikishina
cs.AI
Resumo
Apresentamos uma nova abordagem baseada no algoritmo de Aprendizado Federado Personalizado MeritFed que pode ser aplicado a Tarefas de Linguagem Natural com dados heterogêneos. Avaliamos isso na tarefa de Tradução de Máquina de Baixo Recurso, utilizando o conjunto de dados da Tarefa Compartilhada de Tradução de Máquina Multilíngue em Grande Escala (Pequena Trilha #2) e o subconjunto de idiomas Sami do benchmark multilíngue para idiomas fino-úgricos. Além de sua eficácia, o MeritFed também é altamente interpretável, pois pode ser aplicado para rastrear o impacto de cada idioma usado para treinamento. Nossa análise revela que o tamanho do conjunto de dados de destino afeta a distribuição de peso entre os idiomas auxiliares, que idiomas não relacionados não interferem no treinamento e que os parâmetros do otimizador auxiliar têm impacto mínimo. Nossa abordagem é fácil de aplicar com algumas linhas de código, e fornecemos scripts para reproduzir os experimentos em https://github.com/VityaVitalich/MeritFed
English
We present a new approach based on the Personalized Federated Learning
algorithm MeritFed that can be applied to Natural Language Tasks with
heterogeneous data. We evaluate it on the Low-Resource Machine Translation
task, using the dataset from the Large-Scale Multilingual Machine Translation
Shared Task (Small Track #2) and the subset of Sami languages from the
multilingual benchmark for Finno-Ugric languages. In addition to its
effectiveness, MeritFed is also highly interpretable, as it can be applied to
track the impact of each language used for training. Our analysis reveals that
target dataset size affects weight distribution across auxiliary languages,
that unrelated languages do not interfere with the training, and auxiliary
optimizer parameters have minimal impact. Our approach is easy to apply with a
few lines of code, and we provide scripts for reproducing the experiments at
https://github.com/VityaVitalich/MeritFed