Los Codificadores de Audio y Texto Enmascarados son Reordenadores Multimodales Efectivos.

Masked Audio Text Encoders are Effective Multi-Modal Rescorers

May 11, 2023

Autores: Jinglun Cai, Monica Sunkara, Xilai Li, Anshu Bhatia, Xiao Pan, Sravan Bodapati

cs.AI

Resumen

Los Modelos de Lenguaje Enmascarados (MLMs, por sus siglas en inglés) han demostrado ser efectivos para la reevaluación de segunda pasada en sistemas de Reconocimiento Automático del Habla (ASR). En este trabajo, proponemos el Codificador de Audio y Texto Enmascarado (MATE, por sus siglas en inglés), un modelo de lenguaje enmascarado multimodal para reevaluación que incorpora representaciones acústicas en el espacio de entrada del MLM. Adoptamos el aprendizaje contrastivo para alinear eficazmente las modalidades mediante el aprendizaje de representaciones compartidas. Demostramos que el uso de un reevaluador multimodal es beneficioso para la generalización de dominio del sistema ASR cuando no se dispone de datos del dominio objetivo. MATE reduce la tasa de error de palabras (WER) en un 4%-16% en conjuntos de datos del mismo dominio y en un 3%-7% en conjuntos de datos de dominios diferentes, en comparación con el enfoque basado únicamente en texto. Además, con una cantidad muy limitada de datos de entrenamiento (0.8 horas), MATE logra una reducción de WER del 8%-23% sobre la línea base de primera pasada.

English

Masked Language Models (MLMs) have proven to be effective for second-pass rescoring in Automatic Speech Recognition (ASR) systems. In this work, we propose Masked Audio Text Encoder (MATE), a multi-modal masked language model rescorer which incorporates acoustic representations into the input space of MLM. We adopt contrastive learning for effectively aligning the modalities by learning shared representations. We show that using a multi-modal rescorer is beneficial for domain generalization of the ASR system when target domain data is unavailable. MATE reduces word error rate (WER) by 4%-16% on in-domain, and 3%-7% on out-of-domain datasets, over the text-only baseline. Additionally, with very limited amount of training data (0.8 hours), MATE achieves a WER reduction of 8%-23% over the first-pass baseline.