Маскированные аудиотекстовые энкодеры являются эффективными многомодальными рескорирующими моделями.

Masked Audio Text Encoders are Effective Multi-Modal Rescorers

May 11, 2023

Авторы: Jinglun Cai, Monica Sunkara, Xilai Li, Anshu Bhatia, Xiao Pan, Sravan Bodapati

cs.AI

Аннотация

Маскированные языковые модели (MLM) доказали свою эффективность для повторного ранжирования (second-pass rescoring) в системах автоматического распознавания речи (ASR). В данной работе мы предлагаем Masked Audio Text Encoder (MATE) — многомодальную маскированную языковую модель для повторного ранжирования, которая интегрирует акустические представления во входное пространство MLM. Мы применяем контрастивное обучение для эффективного согласования модальностей путем изучения общих представлений. Мы показываем, что использование многомодальной модели для повторного ранжирования полезно для обобщения ASR-системы на новые домены, когда данные целевого домена недоступны. MATE снижает частоту ошибок по словам (WER) на 4%-16% на данных из того же домена и на 3%-7% на данных из других доменов по сравнению с текстовым базовым подходом. Кроме того, при очень ограниченном объеме обучающих данных (0,8 часа) MATE достигает снижения WER на 8%-23% по сравнению с базовым подходом первого прохода.

English

Masked Language Models (MLMs) have proven to be effective for second-pass rescoring in Automatic Speech Recognition (ASR) systems. In this work, we propose Masked Audio Text Encoder (MATE), a multi-modal masked language model rescorer which incorporates acoustic representations into the input space of MLM. We adopt contrastive learning for effectively aligning the modalities by learning shared representations. We show that using a multi-modal rescorer is beneficial for domain generalization of the ASR system when target domain data is unavailable. MATE reduces word error rate (WER) by 4%-16% on in-domain, and 3%-7% on out-of-domain datasets, over the text-only baseline. Additionally, with very limited amount of training data (0.8 hours), MATE achieves a WER reduction of 8%-23% over the first-pass baseline.