Aprendendo Camadas Específicas de Idioma para Tradução Automática Multilíngue

Learning Language-Specific Layers for Multilingual Machine Translation

May 4, 2023

Autores: Telmo Pessoa Pires, Robin M. Schmidt, Yi-Hsiu Liao, Stephan Peitz

cs.AI

Resumo

A Tradução Automática Multilíngue promete melhorar a qualidade da tradução entre idiomas que não sejam o inglês. Isso é vantajoso por vários motivos, como menor latência (não há necessidade de traduzir duas vezes) e redução de cascatas de erros (por exemplo, evitando a perda de informações sobre gênero e formalidade ao traduzir através do inglês). Por outro lado, adicionar mais idiomas reduz a capacidade do modelo por idioma, o que geralmente é contrabalançado pelo aumento do tamanho geral do modelo, tornando o treinamento mais difícil e a inferência mais lenta. Neste trabalho, introduzimos Camadas de Transformador Específicas por Idioma (LSLs, na sigla em inglês), que nos permitem aumentar a capacidade do modelo, mantendo constante a quantidade de computação e o número de parâmetros usados na passagem direta. A ideia principal é que algumas camadas do codificador sejam específicas para o idioma de origem ou de destino, enquanto as demais camadas permanecem compartilhadas. Estudamos a melhor forma de posicionar essas camadas usando uma abordagem inspirada na busca de arquitetura neural e alcançamos uma melhoria de 1,3 pontos chrF (1,5 spBLEU) em relação ao não uso de LSLs em uma arquitetura de decodificador separado e 1,9 chrF (2,2 spBLEU) em uma arquitetura de decodificador compartilhado.

English

Multilingual Machine Translation promises to improve translation quality between non-English languages. This is advantageous for several reasons, namely lower latency (no need to translate twice), and reduced error cascades (e.g., avoiding losing gender and formality information when translating through English). On the downside, adding more languages reduces model capacity per language, which is usually countered by increasing the overall model size, making training harder and inference slower. In this work, we introduce Language-Specific Transformer Layers (LSLs), which allow us to increase model capacity, while keeping the amount of computation and the number of parameters used in the forward pass constant. The key idea is to have some layers of the encoder be source or target language-specific, while keeping the remaining layers shared. We study the best way to place these layers using a neural architecture search inspired approach, and achieve an improvement of 1.3 chrF (1.5 spBLEU) points over not using LSLs on a separate decoder architecture, and 1.9 chrF (2.2 spBLEU) on a shared decoder one.