Les encodeurs de texte audio masqués constituent des réévaluateurs multimodaux efficaces.

Masked Audio Text Encoders are Effective Multi-Modal Rescorers

May 11, 2023

Auteurs: Jinglun Cai, Monica Sunkara, Xilai Li, Anshu Bhatia, Xiao Pan, Sravan Bodapati

cs.AI

Résumé

Les modèles de langage masqué (MLM) se sont avérés efficaces pour le réétiquetage en deuxième passe dans les systèmes de reconnaissance automatique de la parole (ASR). Dans ce travail, nous proposons le Masked Audio Text Encoder (MATE), un modèle de langage masqué multimodal pour le réétiquetage qui intègre des représentations acoustiques dans l'espace d'entrée du MLM. Nous adoptons l'apprentissage contrastif pour aligner efficacement les modalités en apprenant des représentations partagées. Nous montrons qu'un réétiqueteur multimodal est bénéfique pour la généralisation de domaine du système ASR lorsque les données du domaine cible ne sont pas disponibles. MATE réduit le taux d'erreur sur les mots (WER) de 4 % à 16 % sur les données intra-domaine et de 3 % à 7 % sur les données hors domaine, par rapport à la base de référence textuelle uniquement. De plus, avec une quantité très limitée de données d'entraînement (0,8 heure), MATE obtient une réduction du WER de 8 % à 23 % par rapport à la base de référence en première passe.

English

Masked Language Models (MLMs) have proven to be effective for second-pass rescoring in Automatic Speech Recognition (ASR) systems. In this work, we propose Masked Audio Text Encoder (MATE), a multi-modal masked language model rescorer which incorporates acoustic representations into the input space of MLM. We adopt contrastive learning for effectively aligning the modalities by learning shared representations. We show that using a multi-modal rescorer is beneficial for domain generalization of the ASR system when target domain data is unavailable. MATE reduces word error rate (WER) by 4%-16% on in-domain, and 3%-7% on out-of-domain datasets, over the text-only baseline. Additionally, with very limited amount of training data (0.8 hours), MATE achieves a WER reduction of 8%-23% over the first-pass baseline.