Gemaskerde Audio Tekst Encoders zijn Effectieve Multi-Modale Herbeoordelaars.

Masked Audio Text Encoders are Effective Multi-Modal Rescorers

May 11, 2023

Auteurs: Jinglun Cai, Monica Sunkara, Xilai Li, Anshu Bhatia, Xiao Pan, Sravan Bodapati

cs.AI

Samenvatting

Gemaskerde Taalmodellen (MLMs) hebben hun effectiviteit bewezen voor tweede-pass rescoring in Automatische Spraakherkenning (ASR) systemen. In dit werk stellen we de Gemaskerde Audio Tekst Encoder (MATE) voor, een multi-modale gemaskerd taalmodel rescorer die akoestische representaties integreert in de invoerruimte van het MLM. We passen contrastief leren toe om de modaliteiten effectief uit te lijnen door gedeelde representaties te leren. We tonen aan dat het gebruik van een multi-modale rescorer voordelig is voor domeingeneralizatie van het ASR-systeem wanneer doeldomaingegevens niet beschikbaar zijn. MATE reduceert de woordfoutratio (WER) met 4%-16% op in-domein, en 3%-7% op out-of-domein datasets, vergeleken met de tekst-only baseline. Daarnaast bereikt MATE met een zeer beperkte hoeveelheid trainingsdata (0,8 uur) een WER-reductie van 8%-23% ten opzichte van de eerste-pass baseline.

English

Masked Language Models (MLMs) have proven to be effective for second-pass rescoring in Automatic Speech Recognition (ASR) systems. In this work, we propose Masked Audio Text Encoder (MATE), a multi-modal masked language model rescorer which incorporates acoustic representations into the input space of MLM. We adopt contrastive learning for effectively aligning the modalities by learning shared representations. We show that using a multi-modal rescorer is beneficial for domain generalization of the ASR system when target domain data is unavailable. MATE reduces word error rate (WER) by 4%-16% on in-domain, and 3%-7% on out-of-domain datasets, over the text-only baseline. Additionally, with very limited amount of training data (0.8 hours), MATE achieves a WER reduction of 8%-23% over the first-pass baseline.