Het gebruik van grote taalmodelen om communicatie te versnellen voor gebruikers met ernstige motorische beperkingen

Using Large Language Models to Accelerate Communication for Users with Severe Motor Impairments

December 3, 2023

Auteurs: Shanqing Cai, Subhashini Venugopalan, Katie Seaver, Xiang Xiao, Katrin Tomanek, Sri Jalasutram, Meredith Ringel Morris, Shaun Kane, Ajit Narayanan, Robert L. MacDonald, Emily Kornman, Daniel Vance, Blair Casey, Steve M. Gleason, Philip Q. Nelson, Michael P. Brenner

cs.AI

Samenvatting

Het vinden van manieren om tekstinvoer te versnellen voor personen met ernstige motorische beperkingen is al lang een belangrijk onderzoeksgebied. Het dichten van de snelheidskloof voor hulpmiddelen voor augmentatieve en alternatieve communicatie (AAC), zoals oogvolgtoetsenborden, is cruciaal voor het verbeteren van de levenskwaliteit van deze personen. Recente vooruitgang in neurale netwerken voor natuurlijke taal biedt nieuwe mogelijkheden om strategieën en gebruikersinterfaces te herzien voor verbeterde tekstinvoer voor AAC-gebruikers. In dit artikel presenteren we SpeakFaster, dat bestaat uit grote taalmodelen (LLMs) en een mede-ontworpen gebruikersinterface voor tekstinvoer in een sterk afgekorte vorm, waardoor 57% meer motorische handelingen worden bespaard in vergelijking met traditionele voorspellende toetsenborden in offline simulaties. Een pilotstudie met 19 niet-AAC-deelnemers die op een mobiel apparaat typten met de hand, toonde besparingen in motorische handelingen die overeenkwamen met de offline simulatie, terwijl het effect op de algehele typsnelheid relatief klein was. Lab- en veldtesten met twee gebruikers van oogtyping met amyotrofische laterale sclerose (ALS) lieten tekstinvoersnelheden zien die 29-60% sneller waren dan traditionele basislijnen, dankzij aanzienlijke besparingen op kostbare toetsaanslagen door middel van zins- en woordvoorspellingen van contextbewuste LLMs. Deze bevindingen vormen een sterke basis voor verder onderzoek naar aanzienlijk versnelde tekstcommunicatie voor gebruikers met motorische beperkingen en tonen een richting voor het toepassen van LLMs op tekstgebaseerde gebruikersinterfaces.

English

Finding ways to accelerate text input for individuals with profound motor impairments has been a long-standing area of research. Closing the speed gap for augmentative and alternative communication (AAC) devices such as eye-tracking keyboards is important for improving the quality of life for such individuals. Recent advances in neural networks of natural language pose new opportunities for re-thinking strategies and user interfaces for enhanced text-entry for AAC users. In this paper, we present SpeakFaster, consisting of large language models (LLMs) and a co-designed user interface for text entry in a highly-abbreviated form, allowing saving 57% more motor actions than traditional predictive keyboards in offline simulation. A pilot study with 19 non-AAC participants typing on a mobile device by hand demonstrated gains in motor savings in line with the offline simulation, while introducing relatively small effects on overall typing speed. Lab and field testing on two eye-gaze typing users with amyotrophic lateral sclerosis (ALS) demonstrated text-entry rates 29-60% faster than traditional baselines, due to significant saving of expensive keystrokes achieved through phrase and word predictions from context-aware LLMs. These findings provide a strong foundation for further exploration of substantially-accelerated text communication for motor-impaired users and demonstrate a direction for applying LLMs to text-based user interfaces.