Utilisation de grands modèles de langage pour accélérer la communication chez les utilisateurs atteints de troubles moteurs sévères

Résumé

La recherche de moyens pour accélérer la saisie de texte pour les personnes atteintes de déficiences motrices sévères constitue un domaine de recherche de longue date. Réduire l'écart de vitesse pour les dispositifs de communication alternative et améliorée (CAA) tels que les claviers à suivi oculaire est essentiel pour améliorer la qualité de vie de ces individus. Les récents progrès des réseaux neuronaux en traitement du langage naturel ouvrent de nouvelles opportunités pour repenser les stratégies et les interfaces utilisateur afin d'améliorer la saisie de texte pour les utilisateurs de CAA. Dans cet article, nous présentons SpeakFaster, qui combine des modèles de langage de grande taille (LLMs) et une interface utilisateur co-conçue pour la saisie de texte sous une forme hautement abrégée, permettant d'économiser 57 % d'actions motrices supplémentaires par rapport aux claviers prédictifs traditionnels dans une simulation hors ligne. Une étude pilote menée auprès de 19 participants non-utilisateurs de CAA, tapant sur un appareil mobile à la main, a montré des gains en économie motrice conformes à la simulation hors ligne, tout en introduisant des effets relativement faibles sur la vitesse globale de frappe. Des tests en laboratoire et sur le terrain avec deux utilisateurs de saisie par regard atteints de sclérose latérale amyotrophique (SLA) ont révélé des taux de saisie de texte 29 à 60 % plus rapides que les bases de référence traditionnelles, grâce à une économie significative de frappes coûteuses obtenue par la prédiction de phrases et de mots à partir de LLMs conscients du contexte. Ces résultats fournissent une base solide pour une exploration plus approfondie de la communication textuelle considérablement accélérée pour les utilisateurs atteints de déficiences motrices et démontrent une orientation pour l'application des LLMs aux interfaces utilisateur basées sur le texte.

English

Finding ways to accelerate text input for individuals with profound motor impairments has been a long-standing area of research. Closing the speed gap for augmentative and alternative communication (AAC) devices such as eye-tracking keyboards is important for improving the quality of life for such individuals. Recent advances in neural networks of natural language pose new opportunities for re-thinking strategies and user interfaces for enhanced text-entry for AAC users. In this paper, we present SpeakFaster, consisting of large language models (LLMs) and a co-designed user interface for text entry in a highly-abbreviated form, allowing saving 57% more motor actions than traditional predictive keyboards in offline simulation. A pilot study with 19 non-AAC participants typing on a mobile device by hand demonstrated gains in motor savings in line with the offline simulation, while introducing relatively small effects on overall typing speed. Lab and field testing on two eye-gaze typing users with amyotrophic lateral sclerosis (ALS) demonstrated text-entry rates 29-60% faster than traditional baselines, due to significant saving of expensive keystrokes achieved through phrase and word predictions from context-aware LLMs. These findings provide a strong foundation for further exploration of substantially-accelerated text communication for motor-impaired users and demonstrate a direction for applying LLMs to text-based user interfaces.

Utilisation de grands modèles de langage pour accélérer la communication chez les utilisateurs atteints de troubles moteurs sévères

Using Large Language Models to Accelerate Communication for Users with Severe Motor Impairments

Résumé

Support