Adattamento al dominio solo testo utilizzando una rappresentazione unificata parlato-testo nel Trasduttore

Text-only Domain Adaptation using Unified Speech-Text Representation in Transducer

June 7, 2023

Autori: Lu Huang, Boyu Li, Jun Zhang, Lu Lu, Zejun Ma

cs.AI

Abstract

L'adattamento di dominio utilizzando un corpus di solo testo è una sfida nel riconoscimento vocale end-to-end (E2E). L'adattamento sintetizzando audio da testo tramite TTS è dispendioso in termini di risorse. Presentiamo un metodo per apprendere una Rappresentazione Unificata Voce-Testo nel Trasduttore Conformer (USTR-CT) per consentire un rapido adattamento di dominio utilizzando il corpus di solo testo. A differenza del precedente metodo del textogram, nel nostro lavoro viene introdotto un encoder di testo aggiuntivo per apprendere la rappresentazione del testo, che viene rimosso durante l'inferenza, quindi non ci sono modifiche per il deployment online. Per migliorare l'efficienza dell'adattamento, vengono esplorati anche adattamenti a singolo passo e multi-passo. Gli esperimenti sull'adattamento di LibriSpeech a SPGISpeech mostrano che il metodo proposto riduce il tasso di errore sulle parole (WER) del 44% relativamente nel dominio target, risultando migliore rispetto ai metodi TTS e textogram. Inoltre, si dimostra che il metodo proposto può essere combinato con la stima del modello linguistico interno (ILME) per migliorare ulteriormente le prestazioni.

English

Domain adaptation using text-only corpus is challenging in end-to-end(E2E) speech recognition. Adaptation by synthesizing audio from text through TTS is resource-consuming. We present a method to learn Unified Speech-Text Representation in Conformer Transducer(USTR-CT) to enable fast domain adaptation using the text-only corpus. Different from the previous textogram method, an extra text encoder is introduced in our work to learn text representation and is removed during inference, so there is no modification for online deployment. To improve the efficiency of adaptation, single-step and multi-step adaptations are also explored. The experiments on adapting LibriSpeech to SPGISpeech show the proposed method reduces the word error rate(WER) by relatively 44% on the target domain, which is better than those of TTS method and textogram method. Also, it is shown the proposed method can be combined with internal language model estimation(ILME) to further improve the performance.