I Masked Audio Text Encoder sono efficaci riscorer multimodali.
Masked Audio Text Encoders are Effective Multi-Modal Rescorers
May 11, 2023
Autori: Jinglun Cai, Monica Sunkara, Xilai Li, Anshu Bhatia, Xiao Pan, Sravan Bodapati
cs.AI
Abstract
I modelli linguistici mascherati (MLM) si sono dimostrati efficaci per il rescoring di secondo passaggio nei sistemi di riconoscimento automatico del parlato (ASR). In questo lavoro, proponiamo Masked Audio Text Encoder (MATE), un modello linguistico mascherato multimodale per il rescoring che incorpora rappresentazioni acustiche nello spazio di input dell'MLM. Adottiamo l'apprendimento contrastivo per allineare efficacemente le modalità attraverso l'apprendimento di rappresentazioni condivise. Dimostriamo che l'uso di un rescoring multimodale è vantaggioso per la generalizzazione del dominio del sistema ASR quando i dati del dominio target non sono disponibili. MATE riduce il tasso di errore sulle parole (WER) del 4%-16% sui dataset in-domain e del 3%-7% sui dataset out-of-domain, rispetto alla baseline basata solo sul testo. Inoltre, con una quantità molto limitata di dati di addestramento (0,8 ore), MATE ottiene una riduzione del WER dell'8%-23% rispetto alla baseline di primo passaggio.
English
Masked Language Models (MLMs) have proven to be effective for second-pass
rescoring in Automatic Speech Recognition (ASR) systems. In this work, we
propose Masked Audio Text Encoder (MATE), a multi-modal masked language model
rescorer which incorporates acoustic representations into the input space of
MLM. We adopt contrastive learning for effectively aligning the modalities by
learning shared representations. We show that using a multi-modal rescorer is
beneficial for domain generalization of the ASR system when target domain data
is unavailable. MATE reduces word error rate (WER) by 4%-16% on in-domain, and
3%-7% on out-of-domain datasets, over the text-only baseline. Additionally,
with very limited amount of training data (0.8 hours), MATE achieves a WER
reduction of 8%-23% over the first-pass baseline.