К интерактивному диктанту

Toward Interactive Dictation

July 8, 2023

Авторы: Belinda Z. Li, Jason Eisner, Adam Pauls, Sam Thomson

cs.AI

Аннотация

Голосовой ввод текста становится все более важным способом ввода данных. Существующие системы, которые позволяют как диктовку, так и редактирование голосом, ограничивают свой командный язык плоскими шаблонами, активируемыми ключевыми словами. В данной работе мы исследуем возможность предоставления пользователям возможности прерывать диктовку голосовыми командами редактирования на естественном языке без ограничений. Мы представляем новую задачу и набор данных, TERTiUS, для экспериментов с такими системами. Для поддержки такой гибкости в реальном времени система должна инкрементально сегментировать и классифицировать отрезки речи как диктовку или команду, а также интерпретировать отрезки, являющиеся командами. Мы экспериментируем с использованием крупных предобученных языковых моделей для предсказания отредактированного текста или, альтернативно, для предсказания небольшой программы редактирования текста. Эксперименты показывают естественный компромисс между точностью модели и задержкой: меньшая модель достигает 30% точности конечного состояния с задержкой 1,3 секунды, в то время как более крупная модель достигает 55% точности конечного состояния с задержкой 7 секунд.

English

Voice dictation is an increasingly important text input modality. Existing systems that allow both dictation and editing-by-voice restrict their command language to flat templates invoked by trigger words. In this work, we study the feasibility of allowing users to interrupt their dictation with spoken editing commands in open-ended natural language. We introduce a new task and dataset, TERTiUS, to experiment with such systems. To support this flexibility in real-time, a system must incrementally segment and classify spans of speech as either dictation or command, and interpret the spans that are commands. We experiment with using large pre-trained language models to predict the edited text, or alternatively, to predict a small text-editing program. Experiments show a natural trade-off between model accuracy and latency: a smaller model achieves 30% end-state accuracy with 1.3 seconds of latency, while a larger model achieves 55% end-state accuracy with 7 seconds of latency.