Naar Interactief Dicteren

Toward Interactive Dictation

July 8, 2023

Auteurs: Belinda Z. Li, Jason Eisner, Adam Pauls, Sam Thomson

cs.AI

Samenvatting

Spraakherkenning is een steeds belangrijkere tekstinvoermodaliteit. Bestaande systemen die zowel dicteren als bewerken via spraak mogelijk maken, beperken hun commandotaal tot vaste sjablonen die worden geactiveerd door trefwoorden. In dit werk onderzoeken we de haalbaarheid van het toestaan dat gebruikers hun dictee onderbreken met gesproken bewerkingscommando's in open-eindige natuurlijke taal. We introduceren een nieuwe taak en dataset, TERTiUS, om te experimenteren met dergelijke systemen. Om deze flexibiliteit in realtime te ondersteunen, moet een systeem spraaksegmenten incrementeel segmenteren en classificeren als dictee of commando, en de segmenten die commando's zijn interpreteren. We experimenteren met het gebruik van grote vooraf getrainde taalmodelen om de bewerkte tekst te voorspellen, of alternatief, om een klein tekstbewerkingsprogramma te voorspellen. Experimenten tonen een natuurlijke afweging tussen modelnauwkeurigheid en latentie: een kleiner model behaalt 30% eindstaatnauwkeurigheid met 1,3 seconden latentie, terwijl een groter model 55% eindstaatnauwkeurigheid behaalt met 7 seconden latentie.

English

Voice dictation is an increasingly important text input modality. Existing systems that allow both dictation and editing-by-voice restrict their command language to flat templates invoked by trigger words. In this work, we study the feasibility of allowing users to interrupt their dictation with spoken editing commands in open-ended natural language. We introduce a new task and dataset, TERTiUS, to experiment with such systems. To support this flexibility in real-time, a system must incrementally segment and classify spans of speech as either dictation or command, and interpret the spans that are commands. We experiment with using large pre-trained language models to predict the edited text, or alternatively, to predict a small text-editing program. Experiments show a natural trade-off between model accuracy and latency: a smaller model achieves 30% end-state accuracy with 1.3 seconds of latency, while a larger model achieves 55% end-state accuracy with 7 seconds of latency.