マスクド・オーディオ・テキスト・エンコーダは効果的なマルチモーダル・リスコアラーである

要旨

Masked Language Models（MLM）は、自動音声認識（ASR）システムにおける第二段階のリスコアリングにおいて有効であることが証明されています。本研究では、音響表現をMLMの入力空間に組み込んだマルチモーダルなMasked Language ModelリスコアラーであるMasked Audio Text Encoder（MATE）を提案します。我々は、共有表現を学習することでモダリティを効果的に整合させるために、コントラスティブ学習を採用しています。ターゲットドメインのデータが利用できない場合、マルチモーダルなリスコアラーを使用することがASRシステムのドメイン一般化に有益であることを示します。MATEは、テキストのみのベースラインと比較して、ドメイン内データセットでは4%-16%、ドメイン外データセットでは3%-7%の単語誤り率（WER）を削減します。さらに、非常に限られた量のトレーニングデータ（0.8時間）を使用しても、MATEは第一段階のベースラインに対して8%-23%のWER削減を達成します。

English

Masked Language Models (MLMs) have proven to be effective for second-pass rescoring in Automatic Speech Recognition (ASR) systems. In this work, we propose Masked Audio Text Encoder (MATE), a multi-modal masked language model rescorer which incorporates acoustic representations into the input space of MLM. We adopt contrastive learning for effectively aligning the modalities by learning shared representations. We show that using a multi-modal rescorer is beneficial for domain generalization of the ASR system when target domain data is unavailable. MATE reduces word error rate (WER) by 4%-16% on in-domain, and 3%-7% on out-of-domain datasets, over the text-only baseline. Additionally, with very limited amount of training data (0.8 hours), MATE achieves a WER reduction of 8%-23% over the first-pass baseline.

マスクド・オーディオ・テキスト・エンコーダは効果的なマルチモーダル・リスコアラーである

Masked Audio Text Encoders are Effective Multi-Modal Rescorers

要旨

Support