Aprendizaje de Capas Específicas del Idioma para la Traducción Automática Multilingüe

Learning Language-Specific Layers for Multilingual Machine Translation

May 4, 2023

Autores: Telmo Pessoa Pires, Robin M. Schmidt, Yi-Hsiu Liao, Stephan Peitz

cs.AI

Resumen

La Traducción Automática Multilingüe promete mejorar la calidad de la traducción entre lenguas no inglesas. Esto es ventajoso por varias razones, principalmente la menor latencia (no es necesario traducir dos veces) y la reducción de cascadas de errores (por ejemplo, evitar la pérdida de información sobre género y formalidad al traducir a través del inglés). Por otro lado, añadir más lenguas reduce la capacidad del modelo por idioma, lo que generalmente se contrarresta aumentando el tamaño total del modelo, dificultando el entrenamiento y ralentizando la inferencia. En este trabajo, presentamos las Capas Específicas por Lenguaje del Transformer (LSLs, por sus siglas en inglés), que nos permiten aumentar la capacidad del modelo manteniendo constante la cantidad de cálculo y el número de parámetros utilizados en el paso hacia adelante. La idea clave es que algunas capas del codificador sean específicas del idioma de origen o destino, mientras que el resto de las capas se mantienen compartidas. Estudiamos la mejor manera de ubicar estas capas utilizando un enfoque inspirado en la búsqueda de arquitecturas neuronales, y logramos una mejora de 1.3 puntos chrF (1.5 spBLEU) sobre no usar LSLs en una arquitectura de decodificador separado, y de 1.9 chrF (2.2 spBLEU) en una arquitectura de decodificador compartido.

English

Multilingual Machine Translation promises to improve translation quality between non-English languages. This is advantageous for several reasons, namely lower latency (no need to translate twice), and reduced error cascades (e.g., avoiding losing gender and formality information when translating through English). On the downside, adding more languages reduces model capacity per language, which is usually countered by increasing the overall model size, making training harder and inference slower. In this work, we introduce Language-Specific Transformer Layers (LSLs), which allow us to increase model capacity, while keeping the amount of computation and the number of parameters used in the forward pass constant. The key idea is to have some layers of the encoder be source or target language-specific, while keeping the remaining layers shared. We study the best way to place these layers using a neural architecture search inspired approach, and achieve an improvement of 1.3 chrF (1.5 spBLEU) points over not using LSLs on a separate decoder architecture, and 1.9 chrF (2.2 spBLEU) on a shared decoder one.