온디바이스 가상 어시스턴트를 위한 세계 영어 언어 모델을 향하여

Towards a World-English Language Model for On-Device Virtual Assistants

March 27, 2024

저자: Rricha Jalota, Lyan Verwimp, Markus Nussbaum-Thom, Amr Mousa, Arturo Argueta, Youssef Oualil

cs.AI

초록

가상 비서(Virtual Assistants, VAs)를 위한 신경망 언어 모델(Neural Network Language Models, NNLMs)은 일반적으로 언어, 지역, 그리고 경우에 따라 기기에 종속적이기 때문에 확장 및 유지 관리에 더 많은 노력이 필요합니다. 이러한 범주 중 하나 이상을 결합하는 것은 확장성을 개선하는 한 가지 방법입니다. 본 연구에서는 지역별 영어 변형을 결합하여 온디바이스 VAs를 위한 "월드 잉글리시(World English)" NNLM을 구축합니다. 특히, 우리는 기존 생산 환경의 NNLMs에서 방언별 특성을 모델링하기 위해 어댑터 병목(adapter bottlenecks)의 적용을 조사하고 다중 방언 기준선을 강화합니다. 우리는 어댑터 모듈이 전체 하위 네트워크를 특수화하는 것보다 방언을 모델링하는 데 더 효과적이라는 것을 발견했습니다. 이러한 통찰과 생산 모델의 설계를 바탕으로, 우리는 단일 방언 모델의 정확도, 지연 시간, 메모리 제약을 충족하는 새로운 월드 잉글리시 NNLM 아키텍처를 소개합니다.

English

Neural Network Language Models (NNLMs) for Virtual Assistants (VAs) are generally language-, region-, and in some cases, device-dependent, which increases the effort to scale and maintain them. Combining NNLMs for one or more of the categories is one way to improve scalability. In this work, we combine regional variants of English to build a ``World English'' NNLM for on-device VAs. In particular, we investigate the application of adapter bottlenecks to model dialect-specific characteristics in our existing production NNLMs {and enhance the multi-dialect baselines}. We find that adapter modules are more effective in modeling dialects than specializing entire sub-networks. Based on this insight and leveraging the design of our production models, we introduce a new architecture for World English NNLM that meets the accuracy, latency, and memory constraints of our single-dialect models.