Apprentissage de couches spécifiques à la langue pour la traduction automatique multilingue

Learning Language-Specific Layers for Multilingual Machine Translation

May 4, 2023

Auteurs: Telmo Pessoa Pires, Robin M. Schmidt, Yi-Hsiu Liao, Stephan Peitz

cs.AI

Résumé

La traduction automatique multilingue promet d'améliorer la qualité de traduction entre langues non anglaises. Cela présente plusieurs avantages, notamment une latence réduite (pas besoin de traduire deux fois) et une diminution des cascades d'erreurs (par exemple, éviter de perdre des informations sur le genre et la formalité lors de la traduction via l'anglais). En revanche, l'ajout de langues supplémentaires réduit la capacité du modèle par langue, ce qui est généralement compensé en augmentant la taille globale du modèle, rendant l'entraînement plus difficile et l'inférence plus lente. Dans ce travail, nous introduisons les couches transformatrices spécifiques à la langue (LSLs), qui permettent d'augmenter la capacité du modèle tout en maintenant constante la quantité de calcul et le nombre de paramètres utilisés lors de la passe avant. L'idée clé est de faire en sorte que certaines couches de l'encodeur soient spécifiques à la langue source ou cible, tout en gardant les autres couches partagées. Nous étudions la meilleure façon de positionner ces couches en utilisant une approche inspirée de la recherche d'architecture neuronale, et nous obtenons une amélioration de 1,3 point chrF (1,5 spBLEU) par rapport à l'absence de LSLs sur une architecture de décodeur séparé, et de 1,9 point chrF (2,2 spBLEU) sur une architecture de décodeur partagé.

English

Multilingual Machine Translation promises to improve translation quality between non-English languages. This is advantageous for several reasons, namely lower latency (no need to translate twice), and reduced error cascades (e.g., avoiding losing gender and formality information when translating through English). On the downside, adding more languages reduces model capacity per language, which is usually countered by increasing the overall model size, making training harder and inference slower. In this work, we introduce Language-Specific Transformer Layers (LSLs), which allow us to increase model capacity, while keeping the amount of computation and the number of parameters used in the forward pass constant. The key idea is to have some layers of the encoder be source or target language-specific, while keeping the remaining layers shared. We study the best way to place these layers using a neural architecture search inspired approach, and achieve an improvement of 1.3 chrF (1.5 spBLEU) points over not using LSLs on a separate decoder architecture, and 1.9 chrF (2.2 spBLEU) on a shared decoder one.