Atención Multihead Monótona Eficiente

Resumen

Presentamos la Atención Monótona Multi-Cabeza Eficiente (EMMA, por sus siglas en inglés), un modelo de traducción simultánea de vanguardia con estimación de alineación monótona numéricamente estable y sin sesgo. Además, presentamos estrategias mejoradas de entrenamiento e inferencia, que incluyen el ajuste fino simultáneo a partir de un modelo de traducción fuera de línea y la reducción de la varianza en la alineación monótona. Los resultados experimentales demuestran que el modelo propuesto alcanza un rendimiento de vanguardia en la traducción simultánea de voz a texto en la tarea de traducción entre español e inglés.

English

We introduce the Efficient Monotonic Multihead Attention (EMMA), a state-of-the-art simultaneous translation model with numerically-stable and unbiased monotonic alignment estimation. In addition, we present improved training and inference strategies, including simultaneous fine-tuning from an offline translation model and reduction of monotonic alignment variance. The experimental results demonstrate that the proposed model attains state-of-the-art performance in simultaneous speech-to-text translation on the Spanish and English translation task.