Адаптация к текстовым доменам с использованием унифицированного речево-текстового представления в трансдьюсере

Text-only Domain Adaptation using Unified Speech-Text Representation in Transducer

June 7, 2023

Авторы: Lu Huang, Boyu Li, Jun Zhang, Lu Lu, Zejun Ma

cs.AI

Аннотация

Адаптация домена с использованием только текстового корпуса представляет сложность в сквозном (E2E) распознавании речи. Адаптация путем синтеза аудио из текста с помощью TTS требует значительных ресурсов. Мы предлагаем метод обучения унифицированного представления речи и текста в Conformer Transducer (USTR-CT), который позволяет быстро адаптироваться к домену с использованием только текстового корпуса. В отличие от предыдущего метода textogram, в нашей работе вводится дополнительный текстовый кодировщик для обучения текстового представления, который удаляется на этапе вывода, что не требует изменений для онлайн-развертывания. Для повышения эффективности адаптации также исследуются одношаговая и многошаговая адаптации. Эксперименты по адаптации LibriSpeech к SPGISpeech показывают, что предложенный метод снижает частоту ошибок по словам (WER) на 44% в целевом домене, что лучше, чем у метода TTS и метода textogram. Кроме того, демонстрируется, что предложенный метод может быть объединен с оценкой внутренней языковой модели (ILME) для дальнейшего улучшения производительности.

English

Domain adaptation using text-only corpus is challenging in end-to-end(E2E) speech recognition. Adaptation by synthesizing audio from text through TTS is resource-consuming. We present a method to learn Unified Speech-Text Representation in Conformer Transducer(USTR-CT) to enable fast domain adaptation using the text-only corpus. Different from the previous textogram method, an extra text encoder is introduced in our work to learn text representation and is removed during inference, so there is no modification for online deployment. To improve the efficiency of adaptation, single-step and multi-step adaptations are also explored. The experiments on adapting LibriSpeech to SPGISpeech show the proposed method reduces the word error rate(WER) by relatively 44% on the target domain, which is better than those of TTS method and textogram method. Also, it is shown the proposed method can be combined with internal language model estimation(ILME) to further improve the performance.