Efficiënte Monotone Multihead Attention

Samenvatting

We introduceren de Efficient Monotonic Multihead Attention (EMMA), een state-of-the-art simultaan vertaalmodel met numeriek stabiele en onbevooroordeelde monotone aligneringsschatting. Daarnaast presenteren we verbeterde trainings- en inferentiestrategieën, waaronder simultane fine-tuning van een offline vertaalmodel en reductie van monotone aligneringsvariantie. De experimentele resultaten tonen aan dat het voorgestelde model state-of-the-art prestaties bereikt in simultane spraak-naar-tekst vertaling voor de Spaanse en Engelse vertaaltaak.

English

We introduce the Efficient Monotonic Multihead Attention (EMMA), a state-of-the-art simultaneous translation model with numerically-stable and unbiased monotonic alignment estimation. In addition, we present improved training and inference strategies, including simultaneous fine-tuning from an offline translation model and reduction of monotonic alignment variance. The experimental results demonstrate that the proposed model attains state-of-the-art performance in simultaneous speech-to-text translation on the Spanish and English translation task.