Codificadores de Áudio e Texto Mascarados são Reavaliadores Multimodais Eficazes

Masked Audio Text Encoders are Effective Multi-Modal Rescorers

May 11, 2023

Autores: Jinglun Cai, Monica Sunkara, Xilai Li, Anshu Bhatia, Xiao Pan, Sravan Bodapati

cs.AI

Resumo

Modelos de Linguagem Mascarada (MLMs) têm se mostrado eficazes para a reavaliação de segunda passagem em sistemas de Reconhecimento Automático de Fala (ASR). Neste trabalho, propomos o Masked Audio Text Encoder (MATE), um modelo de linguagem mascarada multimodal para reavaliação que incorpora representações acústicas no espaço de entrada do MLM. Adotamos o aprendizado contrastivo para alinhar efetivamente as modalidades por meio da aprendizagem de representações compartilhadas. Demonstramos que o uso de um reavaliador multimodal é benéfico para a generalização de domínio do sistema ASR quando os dados do domínio alvo não estão disponíveis. O MATE reduz a taxa de erro de palavras (WER) em 4%-16% em conjuntos de dados do mesmo domínio e em 3%-7% em conjuntos de dados de domínios diferentes, em comparação com a linha de base que utiliza apenas texto. Além disso, com uma quantidade muito limitada de dados de treinamento (0,8 horas), o MATE alcança uma redução de WER de 8%-23% em relação à linha de base de primeira passagem.

English

Masked Language Models (MLMs) have proven to be effective for second-pass rescoring in Automatic Speech Recognition (ASR) systems. In this work, we propose Masked Audio Text Encoder (MATE), a multi-modal masked language model rescorer which incorporates acoustic representations into the input space of MLM. We adopt contrastive learning for effectively aligning the modalities by learning shared representations. We show that using a multi-modal rescorer is beneficial for domain generalization of the ASR system when target domain data is unavailable. MATE reduces word error rate (WER) by 4%-16% on in-domain, and 3%-7% on out-of-domain datasets, over the text-only baseline. Additionally, with very limited amount of training data (0.8 hours), MATE achieves a WER reduction of 8%-23% over the first-pass baseline.