Обучение языково-специфичных слоев для многоязычного машинного перевода

Learning Language-Specific Layers for Multilingual Machine Translation

May 4, 2023

Авторы: Telmo Pessoa Pires, Robin M. Schmidt, Yi-Hsiu Liao, Stephan Peitz

cs.AI

Аннотация

Многоязычный машинный перевод обещает повысить качество перевода между языками, не являющимися английским. Это выгодно по нескольким причинам, а именно: снижение задержки (нет необходимости переводить дважды) и уменьшение каскадных ошибок (например, избежание потери информации о роде и формальности при переводе через английский язык). С другой стороны, добавление большего количества языков снижает ёмкость модели для каждого языка, что обычно компенсируется увеличением общего размера модели, что усложняет обучение и замедляет процесс вывода. В данной работе мы представляем Языково-специфичные Трансформерные Слои (LSLs), которые позволяют увеличить ёмкость модели, сохраняя при этом объём вычислений и количество параметров, используемых в прямом проходе, неизменными. Основная идея заключается в том, чтобы сделать некоторые слои кодировщика специфичными для исходного или целевого языка, сохраняя при этом остальные слои общими. Мы исследуем оптимальный способ размещения этих слоев, используя подход, вдохновлённый поиском нейронных архитектур, и достигаем улучшения на 1,3 пункта chrF (1,5 spBLEU) по сравнению с отсутствием LSLs в архитектуре с отдельным декодером и на 1,9 пункта chrF (2,2 spBLEU) в архитектуре с общим декодером.

English

Multilingual Machine Translation promises to improve translation quality between non-English languages. This is advantageous for several reasons, namely lower latency (no need to translate twice), and reduced error cascades (e.g., avoiding losing gender and formality information when translating through English). On the downside, adding more languages reduces model capacity per language, which is usually countered by increasing the overall model size, making training harder and inference slower. In this work, we introduce Language-Specific Transformer Layers (LSLs), which allow us to increase model capacity, while keeping the amount of computation and the number of parameters used in the forward pass constant. The key idea is to have some layers of the encoder be source or target language-specific, while keeping the remaining layers shared. We study the best way to place these layers using a neural architecture search inspired approach, and achieve an improvement of 1.3 chrF (1.5 spBLEU) points over not using LSLs on a separate decoder architecture, and 1.9 chrF (2.2 spBLEU) on a shared decoder one.