Utilizando Modelos de Linguagem de Grande Escala para Acelerar a Comunicação de Usuários com Comprometimentos Motores Graves

Using Large Language Models to Accelerate Communication for Users with Severe Motor Impairments

December 3, 2023

Autores: Shanqing Cai, Subhashini Venugopalan, Katie Seaver, Xiang Xiao, Katrin Tomanek, Sri Jalasutram, Meredith Ringel Morris, Shaun Kane, Ajit Narayanan, Robert L. MacDonald, Emily Kornman, Daniel Vance, Blair Casey, Steve M. Gleason, Philip Q. Nelson, Michael P. Brenner

cs.AI

Resumo

Encontrar maneiras de acelerar a entrada de texto para indivíduos com deficiências motoras graves tem sido uma área de pesquisa de longa data. Reduzir a lacuna de velocidade em dispositivos de comunicação aumentativa e alternativa (CAA), como teclados de rastreamento ocular, é importante para melhorar a qualidade de vida desses indivíduos. Os recentes avanços em redes neurais de linguagem natural apresentam novas oportunidades para repensar estratégias e interfaces de usuário para uma entrada de texto aprimorada para usuários de CAA. Neste artigo, apresentamos o SpeakFaster, que consiste em modelos de linguagem de grande escala (LLMs, na sigla em inglês) e uma interface de usuário co-desenvolvida para entrada de texto em uma forma altamente abreviada, permitindo uma economia de 57% mais ações motoras do que teclados preditivos tradicionais em simulações offline. Um estudo piloto com 19 participantes não usuários de CAA digitando em um dispositivo móvel manualmente demonstrou ganhos na economia motora alinhados com a simulação offline, enquanto introduziu efeitos relativamente pequenos na velocidade geral de digitação. Testes em laboratório e em campo com dois usuários de digitação por rastreamento ocular com esclerose lateral amiotrófica (ELA) demonstraram taxas de entrada de texto 29-60% mais rápidas do que as linhas de base tradicionais, devido à significativa economia de teclas caras alcançada por meio de previsões de frases e palavras de LLMs cientes do contexto. Esses achados fornecem uma base sólida para uma exploração adicional da comunicação de texto substancialmente acelerada para usuários com deficiências motoras e demonstram uma direção para a aplicação de LLMs em interfaces de usuário baseadas em texto.

English

Finding ways to accelerate text input for individuals with profound motor impairments has been a long-standing area of research. Closing the speed gap for augmentative and alternative communication (AAC) devices such as eye-tracking keyboards is important for improving the quality of life for such individuals. Recent advances in neural networks of natural language pose new opportunities for re-thinking strategies and user interfaces for enhanced text-entry for AAC users. In this paper, we present SpeakFaster, consisting of large language models (LLMs) and a co-designed user interface for text entry in a highly-abbreviated form, allowing saving 57% more motor actions than traditional predictive keyboards in offline simulation. A pilot study with 19 non-AAC participants typing on a mobile device by hand demonstrated gains in motor savings in line with the offline simulation, while introducing relatively small effects on overall typing speed. Lab and field testing on two eye-gaze typing users with amyotrophic lateral sclerosis (ALS) demonstrated text-entry rates 29-60% faster than traditional baselines, due to significant saving of expensive keystrokes achieved through phrase and word predictions from context-aware LLMs. These findings provide a strong foundation for further exploration of substantially-accelerated text communication for motor-impaired users and demonstrate a direction for applying LLMs to text-based user interfaces.