Hacia la dictación interactiva

Toward Interactive Dictation

July 8, 2023

Autores: Belinda Z. Li, Jason Eisner, Adam Pauls, Sam Thomson

cs.AI

Resumen

La dictación por voz es una modalidad de entrada de texto cada vez más importante. Los sistemas existentes que permiten tanto la dictación como la edición por voz limitan su lenguaje de comandos a plantillas planas invocadas por palabras clave. En este trabajo, estudiamos la viabilidad de permitir a los usuarios interrumpir su dictación con comandos de edición hablados en lenguaje natural abierto. Introducimos una nueva tarea y conjunto de datos, TERTiUS, para experimentar con dichos sistemas. Para soportar esta flexibilidad en tiempo real, un sistema debe segmentar y clasificar incrementalmente segmentos de habla como dictado o comando, e interpretar los segmentos que son comandos. Experimentamos con el uso de modelos de lenguaje preentrenados de gran escala para predecir el texto editado o, alternativamente, para predecir un pequeño programa de edición de texto. Los experimentos muestran una compensación natural entre la precisión del modelo y la latencia: un modelo más pequeño logra un 30% de precisión en el estado final con 1.3 segundos de latencia, mientras que un modelo más grande alcanza un 55% de precisión en el estado final con 7 segundos de latencia.

English

Voice dictation is an increasingly important text input modality. Existing systems that allow both dictation and editing-by-voice restrict their command language to flat templates invoked by trigger words. In this work, we study the feasibility of allowing users to interrupt their dictation with spoken editing commands in open-ended natural language. We introduce a new task and dataset, TERTiUS, to experiment with such systems. To support this flexibility in real-time, a system must incrementally segment and classify spans of speech as either dictation or command, and interpret the spans that are commands. We experiment with using large pre-trained language models to predict the edited text, or alternatively, to predict a small text-editing program. Experiments show a natural trade-off between model accuracy and latency: a smaller model achieves 30% end-state accuracy with 1.3 seconds of latency, while a larger model achieves 55% end-state accuracy with 7 seconds of latency.