インタラクティブなディクテーションに向けて

要旨

音声入力はますます重要なテキスト入力モダリティとなっている。既存の音声入力と音声編集を両立するシステムは、トリガーワードで呼び出されるフラットなテンプレートにコマンド言語を制限している。本研究では、ユーザーが自由な自然言語で音声編集コマンドを挟みながら音声入力を行うことの実現可能性を探る。このようなシステムを実験するため、新たなタスクとデータセット「TERTiUS」を導入する。この柔軟性をリアルタイムでサポートするため、システムは音声を逐次的に分割し、入力テキストかコマンドかを分類し、コマンド部分を解釈しなければならない。大規模な事前学習済み言語モデルを用いて、編集後のテキストを直接予測する方法と、小さなテキスト編集プログラムを予測する方法を実験する。実験結果から、モデルの精度とレイテンシの間に自然なトレードオフが存在することがわかる：小規模モデルは1.3秒のレイテンシで30%の最終状態精度を達成し、大規模モデルは7秒のレイテンシで55%の最終状態精度を達成する。

English

Voice dictation is an increasingly important text input modality. Existing systems that allow both dictation and editing-by-voice restrict their command language to flat templates invoked by trigger words. In this work, we study the feasibility of allowing users to interrupt their dictation with spoken editing commands in open-ended natural language. We introduce a new task and dataset, TERTiUS, to experiment with such systems. To support this flexibility in real-time, a system must incrementally segment and classify spans of speech as either dictation or command, and interpret the spans that are commands. We experiment with using large pre-trained language models to predict the edited text, or alternatively, to predict a small text-editing program. Experiments show a natural trade-off between model accuracy and latency: a smaller model achieves 30% end-state accuracy with 1.3 seconds of latency, while a larger model achieves 55% end-state accuracy with 7 seconds of latency.

インタラクティブなディクテーションに向けて

Toward Interactive Dictation

要旨

Support