Vers une dictée interactive

Toward Interactive Dictation

July 8, 2023

Auteurs: Belinda Z. Li, Jason Eisner, Adam Pauls, Sam Thomson

cs.AI

Résumé

La dictée vocale est une modalité de saisie de texte de plus en plus importante. Les systèmes existants qui permettent à la fois la dictée et l'édition par la voix limitent leur langage de commande à des modèles plats invoqués par des mots déclencheurs. Dans ce travail, nous étudions la faisabilité de permettre aux utilisateurs d'interrompre leur dictée avec des commandes d'édition en langage naturel ouvert. Nous introduisons une nouvelle tâche et un nouveau jeu de données, TERTiUS, pour expérimenter avec de tels systèmes. Pour supporter cette flexibilité en temps réel, un système doit segmenter et classer de manière incrémentielle des segments de parole comme étant soit de la dictée, soit des commandes, et interpréter les segments qui sont des commandes. Nous expérimentons l'utilisation de grands modèles de langage pré-entraînés pour prédire le texte édité, ou alternativement, pour prédire un petit programme d'édition de texte. Les expériences montrent un compromis naturel entre la précision du modèle et la latence : un modèle plus petit atteint une précision de l'état final de 30 % avec une latence de 1,3 seconde, tandis qu'un modèle plus grand atteint une précision de l'état final de 55 % avec une latence de 7 secondes.

English

Voice dictation is an increasingly important text input modality. Existing systems that allow both dictation and editing-by-voice restrict their command language to flat templates invoked by trigger words. In this work, we study the feasibility of allowing users to interrupt their dictation with spoken editing commands in open-ended natural language. We introduce a new task and dataset, TERTiUS, to experiment with such systems. To support this flexibility in real-time, a system must incrementally segment and classify spans of speech as either dictation or command, and interpret the spans that are commands. We experiment with using large pre-trained language models to predict the edited text, or alternatively, to predict a small text-editing program. Experiments show a natural trade-off between model accuracy and latency: a smaller model achieves 30% end-state accuracy with 1.3 seconds of latency, while a larger model achieves 55% end-state accuracy with 7 seconds of latency.