効率的な単調性を持つマルチヘッドアテンション

要旨

我々は、数値的に安定かつバイアスのない単調アライメント推定を備えた最先端の同時翻訳モデルであるEfficient Monotonic Multihead Attention (EMMA)を提案する。さらに、オフライン翻訳モデルからの同時ファインチューニングや単調アライメントの分散低減を含む、改良された学習と推論戦略を提示する。実験結果は、提案モデルがスペイン語と英語の翻訳タスクにおいて、音声からテキストへの同時翻訳で最先端の性能を達成することを示している。

English

We introduce the Efficient Monotonic Multihead Attention (EMMA), a state-of-the-art simultaneous translation model with numerically-stable and unbiased monotonic alignment estimation. In addition, we present improved training and inference strategies, including simultaneous fine-tuning from an offline translation model and reduction of monotonic alignment variance. The experimental results demonstrate that the proposed model attains state-of-the-art performance in simultaneous speech-to-text translation on the Spanish and English translation task.