Taalspecifieke Lagen Leren voor Meertalige Machinaal Vertalen

Learning Language-Specific Layers for Multilingual Machine Translation

May 4, 2023

Auteurs: Telmo Pessoa Pires, Robin M. Schmidt, Yi-Hsiu Liao, Stephan Peitz

cs.AI

Samenvatting

Meertalige Machinevertaling belooft de vertaalkwaliteit tussen niet-Engelse talen te verbeteren. Dit biedt verschillende voordelen, namelijk lagere latentie (geen dubbele vertaling nodig) en minder foutcascades (bijvoorbeeld het vermijden van verlies van geslacht en formaliteitsinformatie bij vertaling via het Engels). Aan de andere kant vermindert het toevoegen van meer talen de modelcapaciteit per taal, wat meestal wordt tegengegaan door de algehele modelgrootte te vergroten, wat de training moeilijker maakt en de inferentie vertraagt. In dit werk introduceren we Taalspecifieke Transformer Lagen (LSLs), waarmee we de modelcapaciteit kunnen vergroten, terwijl de hoeveelheid berekeningen en het aantal parameters in de forward pass constant blijven. Het belangrijkste idee is om sommige lagen van de encoder taalspecifiek te maken voor de bron- of doeltaal, terwijl de overige lagen gedeeld blijven. We onderzoeken de beste manier om deze lagen te plaatsen met behulp van een neurale architectuurzoekmethode, en behalen een verbetering van 1,3 chrF (1,5 spBLEU) punten ten opzichte van het niet gebruiken van LSLs in een apart decoderarchitectuur, en 1,9 chrF (2,2 spBLEU) in een gedeelde decoderarchitectuur.

English

Multilingual Machine Translation promises to improve translation quality between non-English languages. This is advantageous for several reasons, namely lower latency (no need to translate twice), and reduced error cascades (e.g., avoiding losing gender and formality information when translating through English). On the downside, adding more languages reduces model capacity per language, which is usually countered by increasing the overall model size, making training harder and inference slower. In this work, we introduce Language-Specific Transformer Layers (LSLs), which allow us to increase model capacity, while keeping the amount of computation and the number of parameters used in the forward pass constant. The key idea is to have some layers of the encoder be source or target language-specific, while keeping the remaining layers shared. We study the best way to place these layers using a neural architecture search inspired approach, and achieve an improvement of 1.3 chrF (1.5 spBLEU) points over not using LSLs on a separate decoder architecture, and 1.9 chrF (2.2 spBLEU) on a shared decoder one.