Использование крупных языковых моделей для ускорения коммуникации у пользователей с тяжелыми двигательными нарушениями

Аннотация

Поиск способов ускорения ввода текста для людей с тяжелыми двигательными нарушениями остается давней областью исследований. Сокращение разрыва в скорости для устройств альтернативной и дополнительной коммуникации (AAC), таких как клавиатуры с отслеживанием взгляда, важно для улучшения качества жизни таких людей. Недавние достижения в области нейронных сетей для обработки естественного языка открывают новые возможности для переосмысления стратегий и пользовательских интерфейсов, направленных на улучшение ввода текста для пользователей AAC. В данной статье мы представляем SpeakFaster, который включает в себя крупные языковые модели (LLM) и совместно разработанный пользовательский интерфейс для ввода текста в сильно сокращенной форме, что позволяет сэкономить на 57% больше двигательных действий по сравнению с традиционными предиктивными клавиатурами в оффлайн-симуляции. Пилотное исследование с участием 19 участников, не использующих AAC, которые вводили текст на мобильном устройстве вручную, показало экономию двигательных усилий, соответствующую оффлайн-симуляции, при этом общая скорость набора текста изменилась незначительно. Лабораторные и полевые испытания с двумя пользователями, вводящими текст с помощью взгляда и страдающими боковым амиотрофическим склерозом (БАС), продемонстрировали скорость ввода текста на 29-60% выше, чем у традиционных базовых методов, благодаря значительной экономии дорогостоящих нажатий клавиш, достигнутой за счет предсказания фраз и слов с помощью контекстно-зависимых LLM. Эти результаты создают прочную основу для дальнейшего изучения существенно ускоренной текстовой коммуникации для пользователей с двигательными нарушениями и демонстрируют направление для применения LLM в текстовых пользовательских интерфейсах.

English

Finding ways to accelerate text input for individuals with profound motor impairments has been a long-standing area of research. Closing the speed gap for augmentative and alternative communication (AAC) devices such as eye-tracking keyboards is important for improving the quality of life for such individuals. Recent advances in neural networks of natural language pose new opportunities for re-thinking strategies and user interfaces for enhanced text-entry for AAC users. In this paper, we present SpeakFaster, consisting of large language models (LLMs) and a co-designed user interface for text entry in a highly-abbreviated form, allowing saving 57% more motor actions than traditional predictive keyboards in offline simulation. A pilot study with 19 non-AAC participants typing on a mobile device by hand demonstrated gains in motor savings in line with the offline simulation, while introducing relatively small effects on overall typing speed. Lab and field testing on two eye-gaze typing users with amyotrophic lateral sclerosis (ALS) demonstrated text-entry rates 29-60% faster than traditional baselines, due to significant saving of expensive keystrokes achieved through phrase and word predictions from context-aware LLMs. These findings provide a strong foundation for further exploration of substantially-accelerated text communication for motor-impaired users and demonstrate a direction for applying LLMs to text-based user interfaces.

Использование крупных языковых моделей для ускорения коммуникации у пользователей с тяжелыми двигательными нарушениями

Using Large Language Models to Accelerate Communication for Users with Severe Motor Impairments

Аннотация

Support