Rumo a um Modelo de Linguagem em Inglês Global para Assistentes Virtuais em Dispositivos Locais

Towards a World-English Language Model for On-Device Virtual Assistants

March 27, 2024

Autores: Rricha Jalota, Lyan Verwimp, Markus Nussbaum-Thom, Amr Mousa, Arturo Argueta, Youssef Oualil

cs.AI

Resumo

Os Modelos de Linguagem de Redes Neurais (NNLMs) para Assistentes Virtuais (VAs) são geralmente dependentes de idioma, região e, em alguns casos, dispositivo, o que aumenta o esforço para escaloná-los e mantê-los. Combinar NNLMs para uma ou mais dessas categorias é uma maneira de melhorar a escalabilidade. Neste trabalho, combinamos variantes regionais do inglês para construir um NNLM de "Inglês Global" para VAs em dispositivos. Em particular, investigamos a aplicação de gargalos adaptadores para modelar características específicas de dialetos em nossos NNLMs de produção existentes {e aprimorar as linhas de base multidialetais}. Descobrimos que os módulos adaptadores são mais eficazes na modelagem de dialetos do que especializar sub-redes inteiras. Com base nessa percepção e aproveitando o design de nossos modelos de produção, introduzimos uma nova arquitetura para o NNLM de Inglês Global que atende às restrições de precisão, latência e memória de nossos modelos de dialeto único.

English

Neural Network Language Models (NNLMs) for Virtual Assistants (VAs) are generally language-, region-, and in some cases, device-dependent, which increases the effort to scale and maintain them. Combining NNLMs for one or more of the categories is one way to improve scalability. In this work, we combine regional variants of English to build a ``World English'' NNLM for on-device VAs. In particular, we investigate the application of adapter bottlenecks to model dialect-specific characteristics in our existing production NNLMs {and enhance the multi-dialect baselines}. We find that adapter modules are more effective in modeling dialects than specializing entire sub-networks. Based on this insight and leveraging the design of our production models, we introduce a new architecture for World English NNLM that meets the accuracy, latency, and memory constraints of our single-dialect models.