Effiziente monotone Multihead-Attention

Zusammenfassung

Wir stellen die Efficient Monotonic Multihead Attention (EMMA) vor, ein modernstes Modell für simultane Übersetzung mit numerisch stabiler und unverzerrter Schätzung der monotonen Ausrichtung. Darüber hinaus präsentieren wir verbesserte Trainings- und Inferenzstrategien, einschließlich simultanem Feintuning eines Offline-Übersetzungsmodells und der Reduzierung der Varianz der monotonen Ausrichtung. Die experimentellen Ergebnisse zeigen, dass das vorgeschlagene Modell Spitzenleistungen in der simultanen Sprach-zu-Text-Übersetzung für die spanisch-englische Übersetzungsaufgabe erzielt.

English

We introduce the Efficient Monotonic Multihead Attention (EMMA), a state-of-the-art simultaneous translation model with numerically-stable and unbiased monotonic alignment estimation. In addition, we present improved training and inference strategies, including simultaneous fine-tuning from an offline translation model and reduction of monotonic alignment variance. The experimental results demonstrate that the proposed model attains state-of-the-art performance in simultaneous speech-to-text translation on the Spanish and English translation task.