Verso un Dettato Interattivo

Toward Interactive Dictation

July 8, 2023

Autori: Belinda Z. Li, Jason Eisner, Adam Pauls, Sam Thomson

cs.AI

Abstract

La dettatura vocale è una modalità di input testuale sempre più importante. I sistemi esistenti che consentono sia la dettatura che la modifica tramite voce limitano il loro linguaggio di comando a modelli piatti attivati da parole chiave. In questo lavoro, studiamo la fattibilità di permettere agli utenti di interrompere la dettatura con comandi di modifica espressi in linguaggio naturale aperto. Introduciamo un nuovo compito e un nuovo dataset, TERTiUS, per sperimentare con tali sistemi. Per supportare questa flessibilità in tempo reale, un sistema deve segmentare e classificare in modo incrementale porzioni di discorso come dettatura o comando, e interpretare le porzioni che sono comandi. Sperimentiamo l'uso di grandi modelli linguistici pre-addestrati per prevedere il testo modificato, o in alternativa, per prevedere un piccolo programma di modifica del testo. Gli esperimenti mostrano un naturale compromesso tra accuratezza del modello e latenza: un modello più piccolo raggiunge un'accuratezza dello stato finale del 30% con una latenza di 1,3 secondi, mentre un modello più grande raggiunge un'accuratezza dello stato finale del 55% con una latenza di 7 secondi.

English

Voice dictation is an increasingly important text input modality. Existing systems that allow both dictation and editing-by-voice restrict their command language to flat templates invoked by trigger words. In this work, we study the feasibility of allowing users to interrupt their dictation with spoken editing commands in open-ended natural language. We introduce a new task and dataset, TERTiUS, to experiment with such systems. To support this flexibility in real-time, a system must incrementally segment and classify spans of speech as either dictation or command, and interpret the spans that are commands. We experiment with using large pre-trained language models to predict the edited text, or alternatively, to predict a small text-editing program. Experiments show a natural trade-off between model accuracy and latency: a smaller model achieves 30% end-state accuracy with 1.3 seconds of latency, while a larger model achieves 55% end-state accuracy with 7 seconds of latency.