Rambler: Supporto alla Scrittura con il Parlato attraverso la Manipolazione di Sintesi Assistita da LLM

Abstract

La dettatura consente un input di testo efficiente sui dispositivi mobili. Tuttavia, scrivere con la voce può produrre testi disfluenti, prolissi e incoerenti, richiedendo quindi un pesante post-processing. Questo articolo presenta Rambler, un'interfaccia grafica basata su LLM che supporta la manipolazione a livello di sintesi del testo dettato attraverso due principali insiemi di funzioni: estrazione della sintesi e revisione macro. L'estrazione della sintesi genera parole chiave e riassunti come ancore per supportare la revisione e l'interazione con il testo parlato. Le revisioni macro assistite da LLM permettono agli utenti di ridettare, dividere, unire e trasformare il testo dettato senza specificare posizioni precise di modifica. Insieme, queste funzioni aprono la strada a una dettatura e revisione interattiva che aiutano a colmare il divario tra le parole spontanee pronunciate e una scrittura ben strutturata. In uno studio comparativo con 12 partecipanti che hanno eseguito compiti di composizione verbale, Rambler ha superato la baseline di un editor di dettatura + ChatGPT, poiché facilita meglio le revisioni iterative con un maggiore controllo dell'utente sul contenuto, supportando al contempo strategie utente sorprendentemente diversificate.

English

Dictation enables efficient text input on mobile devices. However, writing with speech can produce disfluent, wordy, and incoherent text and thus requires heavy post-processing. This paper presents Rambler, an LLM-powered graphical user interface that supports gist-level manipulation of dictated text with two main sets of functions: gist extraction and macro revision. Gist extraction generates keywords and summaries as anchors to support the review and interaction with spoken text. LLM-assisted macro revisions allow users to respeak, split, merge and transform dictated text without specifying precise editing locations. Together they pave the way for interactive dictation and revision that help close gaps between spontaneous spoken words and well-structured writing. In a comparative study with 12 participants performing verbal composition tasks, Rambler outperformed the baseline of a speech-to-text editor + ChatGPT, as it better facilitates iterative revisions with enhanced user control over the content while supporting surprisingly diverse user strategies.