Эффективный монотонный многоголовый механизм внимания

Аннотация

Мы представляем Efficient Monotonic Multihead Attention (EMMA) — современную модель синхронного перевода с численно устойчивой и несмещённой оценкой монотонных выравниваний. Кроме того, мы предлагаем улучшенные стратегии обучения и вывода, включая синхронную тонкую настройку на основе модели офлайн-перевода и снижение дисперсии монотонных выравниваний. Результаты экспериментов показывают, что предложенная модель достигает наилучших результатов в задаче синхронного перевода речи с испанского на английский язык.

English

We introduce the Efficient Monotonic Multihead Attention (EMMA), a state-of-the-art simultaneous translation model with numerically-stable and unbiased monotonic alignment estimation. In addition, we present improved training and inference strategies, including simultaneous fine-tuning from an offline translation model and reduction of monotonic alignment variance. The experimental results demonstrate that the proposed model attains state-of-the-art performance in simultaneous speech-to-text translation on the Spanish and English translation task.