Tekstuele domeinaanpassing met behulp van verenigde spraak-tekst representatie in Transducer

Text-only Domain Adaptation using Unified Speech-Text Representation in Transducer

June 7, 2023

Auteurs: Lu Huang, Boyu Li, Jun Zhang, Lu Lu, Zejun Ma

cs.AI

Samenvatting

Domeinadaptatie met alleen tekstcorpora is uitdagend in end-to-end (E2E) spraakherkenning. Aanpassing door audio te synthetiseren uit tekst via TTS is bronnenintensief. Wij presenteren een methode om Unified Speech-Text Representation in Conformer Transducer (USTR-CT) te leren, waardoor snelle domeinadaptatie mogelijk wordt met alleen een tekstcorpus. In tegenstelling tot de vorige textogrammethode wordt in ons werk een extra tekstencoder geïntroduceerd om tekstrepresentatie te leren, die tijdens de inferentie wordt verwijderd, waardoor er geen aanpassingen nodig zijn voor online implementatie. Om de efficiëntie van de aanpassing te verbeteren, worden ook enkelstaps- en meerstapsaanpassingen onderzocht. De experimenten met het aanpassen van LibriSpeech aan SPGISpeech laten zien dat de voorgestelde methode de woordfoutfrequentie (WER) relatief met 44% verlaagt in het doeldomein, wat beter is dan de TTS-methode en de textogrammethode. Ook wordt aangetoond dat de voorgestelde methode kan worden gecombineerd met interne taalmodelschatting (ILME) om de prestaties verder te verbeteren.

English

Domain adaptation using text-only corpus is challenging in end-to-end(E2E) speech recognition. Adaptation by synthesizing audio from text through TTS is resource-consuming. We present a method to learn Unified Speech-Text Representation in Conformer Transducer(USTR-CT) to enable fast domain adaptation using the text-only corpus. Different from the previous textogram method, an extra text encoder is introduced in our work to learn text representation and is removed during inference, so there is no modification for online deployment. To improve the efficiency of adaptation, single-step and multi-step adaptations are also explored. The experiments on adapting LibriSpeech to SPGISpeech show the proposed method reduces the word error rate(WER) by relatively 44% on the target domain, which is better than those of TTS method and textogram method. Also, it is shown the proposed method can be combined with internal language model estimation(ILME) to further improve the performance.