Atenção Multihead Monotônica Eficiente

Resumo

Apresentamos o Efficient Monotonic Multihead Attention (EMMA), um modelo de tradução simultânea de última geração com estimativa de alinhamento monotônico numericamente estável e não tendenciosa. Além disso, apresentamos estratégias aprimoradas de treinamento e inferência, incluindo ajuste fino simultâneo a partir de um modelo de tradução offline e redução da variância do alinhamento monotônico. Os resultados experimentais demonstram que o modelo proposto alcança desempenho de última geração na tradução simultânea de fala para texto na tarefa de tradução entre espanhol e inglês.

English

We introduce the Efficient Monotonic Multihead Attention (EMMA), a state-of-the-art simultaneous translation model with numerically-stable and unbiased monotonic alignment estimation. In addition, we present improved training and inference strategies, including simultaneous fine-tuning from an offline translation model and reduction of monotonic alignment variance. The experimental results demonstrate that the proposed model attains state-of-the-art performance in simultaneous speech-to-text translation on the Spanish and English translation task.