Rumo à Ditadura Interativa

Toward Interactive Dictation

July 8, 2023

Autores: Belinda Z. Li, Jason Eisner, Adam Pauls, Sam Thomson

cs.AI

Resumo

A ditação por voz é uma modalidade de entrada de texto cada vez mais importante. Os sistemas existentes que permitem tanto a ditação quanto a edição por voz restringem sua linguagem de comando a modelos planos acionados por palavras-chave. Neste trabalho, estudamos a viabilidade de permitir que os usuários interrompam sua ditação com comandos de edição falados em linguagem natural aberta. Introduzimos uma nova tarefa e conjunto de dados, TERTiUS, para experimentar com tais sistemas. Para suportar essa flexibilidade em tempo real, um sistema deve segmentar e classificar incrementalmente trechos de fala como ditação ou comando, e interpretar os trechos que são comandos. Experimentamos com o uso de grandes modelos de linguagem pré-treinados para prever o texto editado ou, alternativamente, para prever um pequeno programa de edição de texto. Os experimentos mostram uma troca natural entre a precisão do modelo e a latência: um modelo menor alcança 30% de precisão no estado final com 1,3 segundos de latência, enquanto um modelo maior alcança 55% de precisão no estado final com 7 segundos de latência.

English

Voice dictation is an increasingly important text input modality. Existing systems that allow both dictation and editing-by-voice restrict their command language to flat templates invoked by trigger words. In this work, we study the feasibility of allowing users to interrupt their dictation with spoken editing commands in open-ended natural language. We introduce a new task and dataset, TERTiUS, to experiment with such systems. To support this flexibility in real-time, a system must incrementally segment and classify spans of speech as either dictation or command, and interpret the spans that are commands. We experiment with using large pre-trained language models to predict the edited text, or alternatively, to predict a small text-editing program. Experiments show a natural trade-off between model accuracy and latency: a smaller model achieves 30% end-state accuracy with 1.3 seconds of latency, while a larger model achieves 55% end-state accuracy with 7 seconds of latency.