효율적 단조 다중 헤드 어텐션

초록

우리는 수치적으로 안정적이고 편향되지 않은 단조 정렬 추정을 갖춘 최첨단 동시 번역 모델인 Efficient Monotonic Multihead Attention(EMMA)을 소개한다. 또한, 오프라인 번역 모델로부터의 동시 미세 조정 및 단조 정렬 분산 감소를 포함한 개선된 학습 및 추론 전략을 제시한다. 실험 결과는 제안된 모델이 스페인어-영어 번역 작업에서 동시 음성-텍스트 번역 분야의 최첨단 성능을 달성함을 보여준다.

English

We introduce the Efficient Monotonic Multihead Attention (EMMA), a state-of-the-art simultaneous translation model with numerically-stable and unbiased monotonic alignment estimation. In addition, we present improved training and inference strategies, including simultaneous fine-tuning from an offline translation model and reduction of monotonic alignment variance. The experimental results demonstrate that the proposed model attains state-of-the-art performance in simultaneous speech-to-text translation on the Spanish and English translation task.