Rambler: LLM 지원 요지 조작을 통한 음성 기반 글쓰기 지원

초록

딕테이션은 모바일 기기에서 효율적인 텍스트 입력을 가능하게 합니다. 그러나 음성으로 글을 작성할 때는 불완전하고 장황하며 일관성이 없는 텍스트가 생성될 수 있어, 심각한 후처리가 필요합니다. 본 논문은 LLM(대형 언어 모델) 기반의 그래픽 사용자 인터페이스인 Rambler를 소개합니다. Rambler는 딕테이션된 텍스트를 요약 수준에서 조작할 수 있도록 두 가지 주요 기능 세트를 제공합니다: 요약 추출과 대규모 수정입니다. 요약 추출은 키워드와 요약을 생성하여 음성 텍스트의 검토 및 상호작용을 지원하는 앵커 역할을 합니다. LLM 지원 대규모 수정 기능을 통해 사용자는 정확한 편집 위치를 지정하지 않고도 딕테이션된 텍스트를 다시 말하거나, 분할하거나, 병합하거나, 변형할 수 있습니다. 이러한 기능들은 자발적인 음성 발화와 잘 구조화된 글쓰기 사이의 간극을 줄이는 데 도움을 주는 인터랙티브 딕테이션 및 수정의 길을 열어줍니다. 12명의 참가자가 구두 작문 과제를 수행한 비교 연구에서, Rambler는 음성-텍스트 편집기 + ChatGPT의 기준선을 능가했습니다. Rambler는 사용자가 콘텐츠에 대한 강화된 제어력을 유지하면서 반복적인 수정을 더 잘 지원하며, 놀라울 정도로 다양한 사용자 전략을 가능하게 합니다.

English

Dictation enables efficient text input on mobile devices. However, writing with speech can produce disfluent, wordy, and incoherent text and thus requires heavy post-processing. This paper presents Rambler, an LLM-powered graphical user interface that supports gist-level manipulation of dictated text with two main sets of functions: gist extraction and macro revision. Gist extraction generates keywords and summaries as anchors to support the review and interaction with spoken text. LLM-assisted macro revisions allow users to respeak, split, merge and transform dictated text without specifying precise editing locations. Together they pave the way for interactive dictation and revision that help close gaps between spontaneous spoken words and well-structured writing. In a comparative study with 12 participants performing verbal composition tasks, Rambler outperformed the baseline of a speech-to-text editor + ChatGPT, as it better facilitates iterative revisions with enhanced user control over the content while supporting surprisingly diverse user strategies.

Rambler: LLM 지원 요지 조작을 통한 음성 기반 글쓰기 지원

Rambler: Supporting Writing With Speech via LLM-Assisted Gist Manipulation

초록

Support