Rambler: Schrijven Ondersteunen met Spraak via LLM-Gestuurde Kernmanipulatie
Rambler: Supporting Writing With Speech via LLM-Assisted Gist Manipulation
January 19, 2024
Auteurs: Susan Lin, Jeremy Warner, J. D. Zamfirescu-Pereira, Matthew G. Lee, Sauhard Jain, Michael Xuelin Huang, Piyawat Lertvittayakumjorn, Shanqing Cai, Shumin Zhai, Björn Hartmann, Can Liu
cs.AI
Samenvatting
Dictaten maakt efficiënte tekstinvoer op mobiele apparaten mogelijk. Het schrijven met spraak kan echter onsamenhangende, wijdlopige en incoherente tekst opleveren en vereist daarom zware nabewerking. Dit artikel presenteert Rambler, een grafische gebruikersinterface aangedreven door een groot taalmodel (LLM), die manipulatie van gedicteerde tekst op hoofdlijn ondersteunt met twee hoofdgroepen van functies: hoofdlijn extractie en macrorevisie. Hoofdlijn extractie genereert trefwoorden en samenvattingen als ankers om de beoordeling en interactie met gesproken tekst te ondersteunen. LLM-ondersteunde macrorevisies stellen gebruikers in staat om gedicteerde tekst opnieuw in te spreken, te splitsen, samen te voegen en te transformeren zonder precieze bewerkingslocaties te specificeren. Samen banen ze de weg voor interactief dicteren en reviseren, wat helpt om de kloof tussen spontaan gesproken woorden en goed gestructureerd schrijven te dichten. In een vergelijkende studie met 12 deelnemers die verbale compositietaken uitvoerden, presteerde Rambler beter dan de baseline van een spraak-naar-tekst editor + ChatGPT, omdat het iteratieve revisies beter faciliteert met verbeterde gebruikerscontrole over de inhoud, terwijl het verrassend diverse gebruikersstrategieën ondersteunt.
English
Dictation enables efficient text input on mobile devices. However, writing
with speech can produce disfluent, wordy, and incoherent text and thus requires
heavy post-processing. This paper presents Rambler, an LLM-powered graphical
user interface that supports gist-level manipulation of dictated text with two
main sets of functions: gist extraction and macro revision. Gist extraction
generates keywords and summaries as anchors to support the review and
interaction with spoken text. LLM-assisted macro revisions allow users to
respeak, split, merge and transform dictated text without specifying precise
editing locations. Together they pave the way for interactive dictation and
revision that help close gaps between spontaneous spoken words and
well-structured writing. In a comparative study with 12 participants performing
verbal composition tasks, Rambler outperformed the baseline of a speech-to-text
editor + ChatGPT, as it better facilitates iterative revisions with enhanced
user control over the content while supporting surprisingly diverse user
strategies.