音声モデルにおける大文字化と発話順番予測のためのテキストインジェクション

Text Injection for Capitalization and Turn-Taking Prediction in Speech Models

August 14, 2023

著者: Shaan Bijwadia, Shuo-yiin Chang, Weiran Wang, Zhong Meng, Hao Zhang, Tara N. Sainath

cs.AI

要旨

自動音声認識（ASR）におけるテキストインジェクションは、ペアになっていないテキストのみのデータを、音声とテキストのペアデータを補完するために使用する手法であり、単語誤り率の改善において有望な成果を示しています。本研究では、ASR以外の補助タスク（エンドツーエンドモデルがしばしば行う非ASRタスク）におけるテキストインジェクションの利用を検討します。本論文では、共同エンドツーエンドおよび内部言語モデルトレーニング（JEIT）をテキストインジェクションアルゴリズムとして使用し、2つの補助タスクを実行するASRモデルをトレーニングします。1つ目は、デノーマライゼーションタスクである大文字化です。2つ目は、デジタルアシスタントのインタラクションにおいて、ユーザーが会話のターンを終了したかどうかを識別しようとするターンテイキング予測です。我々のテキストインジェクション手法が、ロングテールデータに対する大文字化の性能を向上させ、ターンテイキング検出の再現率を改善することを示す結果を提示します。

English

Text injection for automatic speech recognition (ASR), wherein unpaired text-only data is used to supplement paired audio-text data, has shown promising improvements for word error rate. This study examines the use of text injection for auxiliary tasks, which are the non-ASR tasks often performed by an E2E model. In this work, we use joint end-to-end and internal language model training (JEIT) as our text injection algorithm to train an ASR model which performs two auxiliary tasks. The first is capitalization, which is a de-normalization task. The second is turn-taking prediction, which attempts to identify whether a user has completed their conversation turn in a digital assistant interaction. We show results demonstrating that our text injection method boosts capitalization performance for long-tail data, and improves turn-taking detection recall.