Uso de Modelos de Lenguaje de Gran Escala para Acelerar la Comunicación en Usuarios con Discapacidades Motoras Severas

Resumen

Encontrar formas de acelerar la entrada de texto para personas con discapacidades motoras severas ha sido un área de investigación de larga data. Reducir la brecha de velocidad en dispositivos de comunicación aumentativa y alternativa (CAA), como los teclados de seguimiento ocular, es crucial para mejorar la calidad de vida de estas personas. Los avances recientes en redes neuronales de lenguaje natural presentan nuevas oportunidades para replantear estrategias e interfaces de usuario que mejoren la entrada de texto para usuarios de CAA. En este artículo, presentamos SpeakFaster, que combina modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) y una interfaz de usuario co-diseñada para la entrada de texto en forma altamente abreviada, permitiendo ahorrar un 57% más de acciones motoras en comparación con los teclados predictivos tradicionales en simulaciones fuera de línea. Un estudio piloto con 19 participantes sin discapacidad motora que escribieron en un dispositivo móvil manualmente mostró ganancias en ahorro motor consistentes con la simulación fuera de línea, mientras que introdujo efectos relativamente pequeños en la velocidad general de escritura. Pruebas de laboratorio y en campo con dos usuarios de escritura por seguimiento ocular con esclerosis lateral amiotrófica (ELA) demostraron tasas de entrada de texto entre un 29% y un 60% más rápidas que los métodos tradicionales, gracias al ahorro significativo de pulsaciones costosas logrado mediante predicciones de frases y palabras basadas en LLMs conscientes del contexto. Estos hallazgos proporcionan una base sólida para seguir explorando la comunicación textual sustancialmente acelerada para usuarios con discapacidades motoras y demuestran una dirección para aplicar LLMs en interfaces de usuario basadas en texto.

English

Finding ways to accelerate text input for individuals with profound motor impairments has been a long-standing area of research. Closing the speed gap for augmentative and alternative communication (AAC) devices such as eye-tracking keyboards is important for improving the quality of life for such individuals. Recent advances in neural networks of natural language pose new opportunities for re-thinking strategies and user interfaces for enhanced text-entry for AAC users. In this paper, we present SpeakFaster, consisting of large language models (LLMs) and a co-designed user interface for text entry in a highly-abbreviated form, allowing saving 57% more motor actions than traditional predictive keyboards in offline simulation. A pilot study with 19 non-AAC participants typing on a mobile device by hand demonstrated gains in motor savings in line with the offline simulation, while introducing relatively small effects on overall typing speed. Lab and field testing on two eye-gaze typing users with amyotrophic lateral sclerosis (ALS) demonstrated text-entry rates 29-60% faster than traditional baselines, due to significant saving of expensive keystrokes achieved through phrase and word predictions from context-aware LLMs. These findings provide a strong foundation for further exploration of substantially-accelerated text communication for motor-impaired users and demonstrate a direction for applying LLMs to text-based user interfaces.

Uso de Modelos de Lenguaje de Gran Escala para Acelerar la Comunicación en Usuarios con Discapacidades Motoras Severas

Using Large Language Models to Accelerate Communication for Users with Severe Motor Impairments

Resumen

Support