Adaptación de Dominio Solo Texto utilizando Representación Unificada de Habla-Texto en Transductor

Text-only Domain Adaptation using Unified Speech-Text Representation in Transducer

June 7, 2023

Autores: Lu Huang, Boyu Li, Jun Zhang, Lu Lu, Zejun Ma

cs.AI

Resumen

La adaptación de dominio utilizando únicamente corpus de texto es un desafío en el reconocimiento de voz de extremo a extremo (E2E). La adaptación mediante la síntesis de audio a partir de texto a través de TTS (Text-to-Speech) consume muchos recursos. Presentamos un método para aprender Representaciones Unificadas de Voz y Texto en un Transductor Conformer (USTR-CT) que permite una rápida adaptación de dominio utilizando únicamente corpus de texto. A diferencia del método anterior de textograma, en nuestro trabajo se introduce un codificador de texto adicional para aprender la representación del texto, el cual se elimina durante la inferencia, por lo que no se requiere modificación para el despliegue en línea. Para mejorar la eficiencia de la adaptación, también se exploran adaptaciones de un solo paso y de múltiples pasos. Los experimentos de adaptación de LibriSpeech a SPGISpeech muestran que el método propuesto reduce la tasa de error de palabras (WER) en un 44% relativo en el dominio objetivo, superando tanto al método TTS como al método de textograma. Además, se demuestra que el método propuesto puede combinarse con la estimación del modelo de lenguaje interno (ILME) para mejorar aún más el rendimiento.

English

Domain adaptation using text-only corpus is challenging in end-to-end(E2E) speech recognition. Adaptation by synthesizing audio from text through TTS is resource-consuming. We present a method to learn Unified Speech-Text Representation in Conformer Transducer(USTR-CT) to enable fast domain adaptation using the text-only corpus. Different from the previous textogram method, an extra text encoder is introduced in our work to learn text representation and is removed during inference, so there is no modification for online deployment. To improve the efficiency of adaptation, single-step and multi-step adaptations are also explored. The experiments on adapting LibriSpeech to SPGISpeech show the proposed method reduces the word error rate(WER) by relatively 44% on the target domain, which is better than those of TTS method and textogram method. Also, it is shown the proposed method can be combined with internal language model estimation(ILME) to further improve the performance.