Utilizzo di Modelli Linguistici di Grande Scala per Accelerare la Comunicazione per Utenti con Gravi Disabilità Motorie

Using Large Language Models to Accelerate Communication for Users with Severe Motor Impairments

December 3, 2023

Autori: Shanqing Cai, Subhashini Venugopalan, Katie Seaver, Xiang Xiao, Katrin Tomanek, Sri Jalasutram, Meredith Ringel Morris, Shaun Kane, Ajit Narayanan, Robert L. MacDonald, Emily Kornman, Daniel Vance, Blair Casey, Steve M. Gleason, Philip Q. Nelson, Michael P. Brenner

cs.AI

Abstract

Trovare modi per accelerare l'immissione di testo per individui con gravi disabilità motorie è da tempo un'area di ricerca attiva. Ridurre il divario di velocità nei dispositivi di comunicazione aumentativa e alternativa (AAC), come le tastiere con eye-tracking, è fondamentale per migliorare la qualità della vita di queste persone. I recenti progressi nelle reti neurali per il linguaggio naturale offrono nuove opportunità per ripensare le strategie e le interfacce utente per un'immissione di testo potenziata negli utenti AAC. In questo articolo, presentiamo SpeakFaster, che combina modelli linguistici di grandi dimensioni (LLM) e un'interfaccia utente co-progettata per l'immissione di testo in forma altamente abbreviata, consentendo un risparmio del 57% di azioni motorie rispetto alle tastiere predittive tradizionali in simulazioni offline. Uno studio pilota con 19 partecipanti non-AAC che digitavano su un dispositivo mobile manualmente ha dimostrato guadagni in termini di risparmio motorio in linea con la simulazione offline, introducendo effetti relativamente piccoli sulla velocità complessiva di digitazione. Test di laboratorio e sul campo condotti su due utenti con sclerosi laterale amiotrofica (ALS) che utilizzavano la digitazione con lo sguardo hanno mostrato tassi di immissione di testo dal 29% al 60% più veloci rispetto ai baselines tradizionali, grazie al significativo risparmio di pressioni di tasti costose ottenuto attraverso la previsione di frasi e parole da parte di LLM consapevoli del contesto. Questi risultati forniscono una solida base per ulteriori esplorazioni di una comunicazione testuale sostanzialmente accelerata per utenti con disabilità motorie e dimostrano una direzione per l'applicazione degli LLM alle interfacce utente basate su testo.

English

Finding ways to accelerate text input for individuals with profound motor impairments has been a long-standing area of research. Closing the speed gap for augmentative and alternative communication (AAC) devices such as eye-tracking keyboards is important for improving the quality of life for such individuals. Recent advances in neural networks of natural language pose new opportunities for re-thinking strategies and user interfaces for enhanced text-entry for AAC users. In this paper, we present SpeakFaster, consisting of large language models (LLMs) and a co-designed user interface for text entry in a highly-abbreviated form, allowing saving 57% more motor actions than traditional predictive keyboards in offline simulation. A pilot study with 19 non-AAC participants typing on a mobile device by hand demonstrated gains in motor savings in line with the offline simulation, while introducing relatively small effects on overall typing speed. Lab and field testing on two eye-gaze typing users with amyotrophic lateral sclerosis (ALS) demonstrated text-entry rates 29-60% faster than traditional baselines, due to significant saving of expensive keystrokes achieved through phrase and word predictions from context-aware LLMs. These findings provide a strong foundation for further exploration of substantially-accelerated text communication for motor-impaired users and demonstrate a direction for applying LLMs to text-based user interfaces.