Hin zu interaktivem Diktieren

Toward Interactive Dictation

July 8, 2023

Autoren: Belinda Z. Li, Jason Eisner, Adam Pauls, Sam Thomson

cs.AI

Zusammenfassung

Spracherkennung ist eine zunehmend wichtige Eingabemethode für Text. Bestehende Systeme, die sowohl Diktat als auch Bearbeitung per Sprache ermöglichen, beschränken ihre Befehlsstruktur auf flache Vorlagen, die durch Triggerwörter aufgerufen werden. In dieser Arbeit untersuchen wir die Machbarkeit, Nutzern zu erlauben, ihr Diktat mit gesprochenen Bearbeitungsbefehlen in offener natürlicher Sprache zu unterbrechen. Wir stellen eine neue Aufgabe und einen neuen Datensatz, TERTiUS, vor, um solche Systeme zu testen. Um diese Flexibilität in Echtzeit zu unterstützen, muss ein System Sprachabschnitte inkrementell als Diktat oder Befehl segmentieren und klassifizieren sowie die Befehlsabschnitte interpretieren. Wir experimentieren mit großen vortrainierten Sprachmodellen, um den bearbeiteten Text vorherzusagen oder alternativ ein kleines Textbearbeitungsprogramm zu generieren. Experimente zeigen einen natürlichen Kompromiss zwischen Modellgenauigkeit und Latenz: Ein kleineres Modell erreicht eine Endzustandsgenauigkeit von 30 % bei einer Latenz von 1,3 Sekunden, während ein größeres Modell eine Endzustandsgenauigkeit von 55 % bei einer Latenz von 7 Sekunden erzielt.

English

Voice dictation is an increasingly important text input modality. Existing systems that allow both dictation and editing-by-voice restrict their command language to flat templates invoked by trigger words. In this work, we study the feasibility of allowing users to interrupt their dictation with spoken editing commands in open-ended natural language. We introduce a new task and dataset, TERTiUS, to experiment with such systems. To support this flexibility in real-time, a system must incrementally segment and classify spans of speech as either dictation or command, and interpret the spans that are commands. We experiment with using large pre-trained language models to predict the edited text, or alternatively, to predict a small text-editing program. Experiments show a natural trade-off between model accuracy and latency: a smaller model achieves 30% end-state accuracy with 1.3 seconds of latency, while a larger model achieves 55% end-state accuracy with 7 seconds of latency.