Adaptation de domaine en texte seul utilisant une représentation unifiée parole-texte dans un transducteur

Text-only Domain Adaptation using Unified Speech-Text Representation in Transducer

June 7, 2023

Auteurs: Lu Huang, Boyu Li, Jun Zhang, Lu Lu, Zejun Ma

cs.AI

Résumé

L'adaptation de domaine utilisant un corpus textuel uniquement est un défi dans la reconnaissance vocale de bout en bout (E2E). L'adaptation par synthèse audio à partir de texte via TTS (Text-to-Speech) est consommatrice de ressources. Nous présentons une méthode pour apprendre une représentation unifiée parole-texte dans un Conformer Transducer (USTR-CT) afin de permettre une adaptation de domaine rapide en utilisant un corpus textuel uniquement. Contrairement à la méthode précédente du textogramme, un encodeur de texte supplémentaire est introduit dans notre travail pour apprendre la représentation textuelle et est supprimé lors de l'inférence, ce qui ne nécessite aucune modification pour un déploiement en ligne. Pour améliorer l'efficacité de l'adaptation, des adaptations en une étape et en plusieurs étapes sont également explorées. Les expériences sur l'adaptation de LibriSpeech à SPGISpeech montrent que la méthode proposée réduit le taux d'erreur sur les mots (WER) de 44 % relativement dans le domaine cible, ce qui est meilleur que les méthodes TTS et textogramme. Il est également démontré que la méthode proposée peut être combinée avec l'estimation du modèle de langage interne (ILME) pour améliorer davantage les performances.

English

Domain adaptation using text-only corpus is challenging in end-to-end(E2E) speech recognition. Adaptation by synthesizing audio from text through TTS is resource-consuming. We present a method to learn Unified Speech-Text Representation in Conformer Transducer(USTR-CT) to enable fast domain adaptation using the text-only corpus. Different from the previous textogram method, an extra text encoder is introduced in our work to learn text representation and is removed during inference, so there is no modification for online deployment. To improve the efficiency of adaptation, single-step and multi-step adaptations are also explored. The experiments on adapting LibriSpeech to SPGISpeech show the proposed method reduces the word error rate(WER) by relatively 44% on the target domain, which is better than those of TTS method and textogram method. Also, it is shown the proposed method can be combined with internal language model estimation(ILME) to further improve the performance.