К созданию мировой модели языка на английском для виртуальных ассистентов на устройствах.

Towards a World-English Language Model for On-Device Virtual Assistants

March 27, 2024

Авторы: Rricha Jalota, Lyan Verwimp, Markus Nussbaum-Thom, Amr Mousa, Arturo Argueta, Youssef Oualil

cs.AI

Аннотация

Нейронные языковые модели (NNLM) для виртуальных ассистентов (VA) обычно зависят от языка, региона и, в некоторых случаях, устройства, что увеличивает усилия по масштабированию и поддержке. Комбинирование NNLM для одной или нескольких категорий - один из способов улучшить масштабируемость. В данной работе мы объединяем региональные варианты английского языка для создания "Мировой английской" NNLM для встроенных VA. В частности, мы исследуем применение адаптерных узлов для моделирования диалектоспецифических характеристик в наших существующих производственных NNLM и улучшения мультидиалектных базовых значений. Мы обнаружили, что адаптерные модули эффективнее моделируют диалекты, чем специализированные подсети целиком. Основываясь на этом понимании и используя дизайн наших производственных моделей, мы представляем новую архитектуру для NNLM Мирового английского, которая соответствует точности, задержке и ограничениям памяти наших моделей с одним диалектом.

English

Neural Network Language Models (NNLMs) for Virtual Assistants (VAs) are generally language-, region-, and in some cases, device-dependent, which increases the effort to scale and maintain them. Combining NNLMs for one or more of the categories is one way to improve scalability. In this work, we combine regional variants of English to build a ``World English'' NNLM for on-device VAs. In particular, we investigate the application of adapter bottlenecks to model dialect-specific characteristics in our existing production NNLMs {and enhance the multi-dialect baselines}. We find that adapter modules are more effective in modeling dialects than specializing entire sub-networks. Based on this insight and leveraging the design of our production models, we introduce a new architecture for World English NNLM that meets the accuracy, latency, and memory constraints of our single-dialect models.