重度の運動障害を持つユーザーのコミュニケーションを加速するための大規模言語モデルの活用

Using Large Language Models to Accelerate Communication for Users with Severe Motor Impairments

December 3, 2023

著者: Shanqing Cai, Subhashini Venugopalan, Katie Seaver, Xiang Xiao, Katrin Tomanek, Sri Jalasutram, Meredith Ringel Morris, Shaun Kane, Ajit Narayanan, Robert L. MacDonald, Emily Kornman, Daniel Vance, Blair Casey, Steve M. Gleason, Philip Q. Nelson, Michael P. Brenner

cs.AI

要旨

重度の運動障害を持つ個人のためのテキスト入力の高速化方法を探ることは、長年にわたる研究分野です。視線追跡キーボードのような補助・代替コミュニケーション（AAC）デバイスの速度ギャップを埋めることは、こうした個人の生活の質を向上させるために重要です。自然言語処理におけるニューラルネットワークの最近の進展は、AACユーザーのためのテキスト入力戦略とユーザーインターフェースを再考する新たな機会を提供しています。本論文では、大規模言語モデル（LLM）と共同設計されたユーザーインターフェースからなるSpeakFasterを紹介します。これは高度に省略された形式でのテキスト入力を可能にし、オフラインシミュレーションにおいて従来の予測型キーボードよりも57%多くのモーターアクションを節約します。19人の非AAC参加者によるモバイルデバイスでの手打ち入力のパイロット研究では、オフラインシミュレーションと一致するモーター節約の効果が示され、全体のタイピング速度には比較的小さな影響しか導入されませんでした。筋萎縮性側索硬化症（ALS）を持つ2人の視線入力ユーザーによる実験室およびフィールドテストでは、文脈を考慮したLLMによるフレーズおよび単語予測を通じて高コストなキーストロークが大幅に節約され、従来のベースラインよりも29-60%速いテキスト入力速度が実証されました。これらの発見は、運動障害を持つユーザーのための大幅に高速化されたテキストコミュニケーションのさらなる探求の強固な基盤を提供し、テキストベースのユーザーインターフェースにLLMを適用する方向性を示しています。

English

Finding ways to accelerate text input for individuals with profound motor impairments has been a long-standing area of research. Closing the speed gap for augmentative and alternative communication (AAC) devices such as eye-tracking keyboards is important for improving the quality of life for such individuals. Recent advances in neural networks of natural language pose new opportunities for re-thinking strategies and user interfaces for enhanced text-entry for AAC users. In this paper, we present SpeakFaster, consisting of large language models (LLMs) and a co-designed user interface for text entry in a highly-abbreviated form, allowing saving 57% more motor actions than traditional predictive keyboards in offline simulation. A pilot study with 19 non-AAC participants typing on a mobile device by hand demonstrated gains in motor savings in line with the offline simulation, while introducing relatively small effects on overall typing speed. Lab and field testing on two eye-gaze typing users with amyotrophic lateral sclerosis (ALS) demonstrated text-entry rates 29-60% faster than traditional baselines, due to significant saving of expensive keystrokes achieved through phrase and word predictions from context-aware LLMs. These findings provide a strong foundation for further exploration of substantially-accelerated text communication for motor-impaired users and demonstrate a direction for applying LLMs to text-based user interfaces.