심각한 운동 장애가 있는 사용자들의 의사소통 가속화를 위한 대형 언어 모델 활용

초록

심각한 운동 장애를 가진 개인들을 위한 텍스트 입력 가속화 방법을 찾는 것은 오랜 연구 분야였습니다. 안구 추적 키보드와 같은 보완 및 대체 의사소통(AAC) 장치의 속도 격차를 줄이는 것은 이러한 개인들의 삶의 질을 향상시키는 데 중요합니다. 최근 자연어 처리 신경망의 발전은 AAC 사용자를 위한 향상된 텍스트 입력 전략과 사용자 인터페이스를 재고할 수 있는 새로운 기회를 제공합니다. 본 논문에서는 대규모 언어 모델(LLMs)과 공동 설계된 사용자 인터페이스로 구성된 SpeakFaster를 소개합니다. 이 시스템은 고도로 축약된 형태의 텍스트 입력을 가능하게 하여 오프라인 시뮬레이션에서 기존 예측 키보드 대비 57% 더 많은 모터 동작을 절약할 수 있습니다. 19명의 비-AAC 참가자가 모바일 기기에서 손으로 타이핑하는 파일럿 연구는 오프라인 시뮬레이션과 일치하는 모터 절약 효과를 보여주었으며, 전체 타이핑 속도에는 상대적으로 작은 영향을 미쳤습니다. 근위축성 측삭 경화증(ALS)을 가진 두 명의 안구 추적 타이핑 사용자를 대상으로 한 실험실 및 현장 테스트에서는 상황 인식 LLMs의 구문 및 단어 예측을 통해 비용이 많이 드는 키 입력을 크게 절약함으로써 기존 기준 대비 29-60% 더 빠른 텍스트 입력 속도를 달성했습니다. 이러한 결과는 운동 장애 사용자를 위한 상당히 가속화된 텍스트 의사소통을 더 탐구할 수 있는 강력한 기반을 제공하며, 텍스트 기반 사용자 인터페이스에 LLMs를 적용하는 방향을 보여줍니다.

English

Finding ways to accelerate text input for individuals with profound motor impairments has been a long-standing area of research. Closing the speed gap for augmentative and alternative communication (AAC) devices such as eye-tracking keyboards is important for improving the quality of life for such individuals. Recent advances in neural networks of natural language pose new opportunities for re-thinking strategies and user interfaces for enhanced text-entry for AAC users. In this paper, we present SpeakFaster, consisting of large language models (LLMs) and a co-designed user interface for text entry in a highly-abbreviated form, allowing saving 57% more motor actions than traditional predictive keyboards in offline simulation. A pilot study with 19 non-AAC participants typing on a mobile device by hand demonstrated gains in motor savings in line with the offline simulation, while introducing relatively small effects on overall typing speed. Lab and field testing on two eye-gaze typing users with amyotrophic lateral sclerosis (ALS) demonstrated text-entry rates 29-60% faster than traditional baselines, due to significant saving of expensive keystrokes achieved through phrase and word predictions from context-aware LLMs. These findings provide a strong foundation for further exploration of substantially-accelerated text communication for motor-impaired users and demonstrate a direction for applying LLMs to text-based user interfaces.

심각한 운동 장애가 있는 사용자들의 의사소통 가속화를 위한 대형 언어 모델 활용

Using Large Language Models to Accelerate Communication for Users with Severe Motor Impairments

초록

Support