Attention Multi-Têtes Monotone Efficace

Résumé

Nous présentons l'Efficient Monotonic Multihead Attention (EMMA), un modèle de traduction simultanée de pointe doté d'une estimation d'alignement monotone numériquement stable et non biaisée. De plus, nous proposons des stratégies améliorées pour l'entraînement et l'inférence, incluant un ajustement fin simultané à partir d'un modèle de traduction hors ligne et une réduction de la variance de l'alignement monotone. Les résultats expérimentaux démontrent que le modèle proposé atteint des performances de pointe en traduction simultanée de la parole vers le texte pour la tâche de traduction entre l'espagnol et l'anglais.

English

We introduce the Efficient Monotonic Multihead Attention (EMMA), a state-of-the-art simultaneous translation model with numerically-stable and unbiased monotonic alignment estimation. In addition, we present improved training and inference strategies, including simultaneous fine-tuning from an offline translation model and reduction of monotonic alignment variance. The experimental results demonstrate that the proposed model attains state-of-the-art performance in simultaneous speech-to-text translation on the Spanish and English translation task.