Masked Audio Text Encoder sind effektive Multi-Modale Rescorer.

Zusammenfassung

Masked Language Models (MLMs) haben sich als effektiv für das Zweitdurchgang-Rescoring in Automatic Speech Recognition (ASR)-Systemen erwiesen. In dieser Arbeit schlagen wir den Masked Audio Text Encoder (MATE) vor, ein multimodales Masked Language Model für das Rescoring, das akustische Repräsentationen in den Eingaberaum des MLM integriert. Wir verwenden kontrastives Lernen, um die Modalitäten effektiv durch das Erlernen gemeinsamer Repräsentationen auszurichten. Wir zeigen, dass die Verwendung eines multimodalen Rescorers vorteilhaft für die Domänengeneralisierung des ASR-Systems ist, wenn keine Daten aus der Zieldomäne verfügbar sind. MATE reduziert die Wortfehlerrate (WER) um 4 %–16 % bei In-Domain-Datensätzen und um 3 %–7 % bei Out-of-Domain-Datensätzen im Vergleich zur textbasierten Baseline. Zusätzlich erreicht MATE bei einer sehr begrenzten Menge an Trainingsdaten (0,8 Stunden) eine WER-Reduktion von 8 %–23 % gegenüber der Baseline des ersten Durchgangs.

English

Masked Language Models (MLMs) have proven to be effective for second-pass rescoring in Automatic Speech Recognition (ASR) systems. In this work, we propose Masked Audio Text Encoder (MATE), a multi-modal masked language model rescorer which incorporates acoustic representations into the input space of MLM. We adopt contrastive learning for effectively aligning the modalities by learning shared representations. We show that using a multi-modal rescorer is beneficial for domain generalization of the ASR system when target domain data is unavailable. MATE reduces word error rate (WER) by 4%-16% on in-domain, and 3%-7% on out-of-domain datasets, over the text-only baseline. Additionally, with very limited amount of training data (0.8 hours), MATE achieves a WER reduction of 8%-23% over the first-pass baseline.

Masked Audio Text Encoder sind effektive Multi-Modale Rescorer.

Masked Audio Text Encoders are Effective Multi-Modal Rescorers

Zusammenfassung

Support