Die Nutzung großer Sprachmodelle zur Beschleunigung der Kommunikation für Nutzer mit schweren motorischen Einschränkungen

Using Large Language Models to Accelerate Communication for Users with Severe Motor Impairments

December 3, 2023

Autoren: Shanqing Cai, Subhashini Venugopalan, Katie Seaver, Xiang Xiao, Katrin Tomanek, Sri Jalasutram, Meredith Ringel Morris, Shaun Kane, Ajit Narayanan, Robert L. MacDonald, Emily Kornman, Daniel Vance, Blair Casey, Steve M. Gleason, Philip Q. Nelson, Michael P. Brenner

cs.AI

Zusammenfassung

Die Suche nach Möglichkeiten, die Texteingabe für Menschen mit schweren motorischen Einschränkungen zu beschleunigen, ist seit langem ein Forschungsgebiet. Die Schließung der Geschwindigkeitslücke bei unterstützenden und alternativen Kommunikationsgeräten (AAC), wie z. B. Eye-Tracking-Tastaturen, ist entscheidend, um die Lebensqualität dieser Personen zu verbessern. Jüngste Fortschritte bei neuronalen Netzwerken für natürliche Sprache bieten neue Möglichkeiten, Strategien und Benutzeroberflächen für eine verbesserte Texteingabe für AAC-Nutzer neu zu denken. In diesem Artikel stellen wir SpeakFaster vor, das aus großen Sprachmodellen (LLMs) und einer gemeinsam entwickelten Benutzeroberfläche für die Texteingabe in stark abgekürzter Form besteht und es ermöglicht, 57 % mehr motorische Aktionen im Vergleich zu traditionellen prädiktiven Tastaturen in einer Offline-Simulation einzusparen. Eine Pilotstudie mit 19 Nicht-AAC-Teilnehmern, die per Hand auf einem Mobilgerät tippten, zeigte Einsparungen bei den motorischen Aktionen, die mit der Offline-Simulation übereinstimmten, während die Gesamttippgeschwindigkeit nur relativ geringfügig beeinflusst wurde. Labortests und Feldversuche mit zwei Eye-Gaze-Tippern, die an Amyotropher Lateralsklerose (ALS) leiden, ergaben Texteingaberaten, die 29–60 % schneller waren als traditionelle Vergleichswerte, was auf die erhebliche Einsparung von aufwendigen Tastenanschlägen durch kontextbewusste Phrasen- und Wortvorhersagen der LLMs zurückzuführen ist. Diese Ergebnisse bieten eine solide Grundlage für die weitere Erforschung einer deutlich beschleunigten Textkommunikation für motorisch eingeschränkte Nutzer und zeigen eine Richtung für die Anwendung von LLMs auf textbasierte Benutzeroberflächen auf.

English

Finding ways to accelerate text input for individuals with profound motor impairments has been a long-standing area of research. Closing the speed gap for augmentative and alternative communication (AAC) devices such as eye-tracking keyboards is important for improving the quality of life for such individuals. Recent advances in neural networks of natural language pose new opportunities for re-thinking strategies and user interfaces for enhanced text-entry for AAC users. In this paper, we present SpeakFaster, consisting of large language models (LLMs) and a co-designed user interface for text entry in a highly-abbreviated form, allowing saving 57% more motor actions than traditional predictive keyboards in offline simulation. A pilot study with 19 non-AAC participants typing on a mobile device by hand demonstrated gains in motor savings in line with the offline simulation, while introducing relatively small effects on overall typing speed. Lab and field testing on two eye-gaze typing users with amyotrophic lateral sclerosis (ALS) demonstrated text-entry rates 29-60% faster than traditional baselines, due to significant saving of expensive keystrokes achieved through phrase and word predictions from context-aware LLMs. These findings provide a strong foundation for further exploration of substantially-accelerated text communication for motor-impaired users and demonstrate a direction for applying LLMs to text-based user interfaces.