Универсальное языковое моделирование для распознавания речи на устройстве

Application-Agnostic Language Modeling for On-Device ASR

May 16, 2023

Авторы: Markus Nußbaum-Thom, Lyan Verwimp, Youssef Oualil

cs.AI

Аннотация

Системы автоматического распознавания речи на устройствах сталкиваются с рядом проблем по сравнению с серверными системами. Они должны соответствовать более строгим ограничениям в отношении скорости, объема дискового пространства и памяти, сохраняя при этом ту же точность. Зачастую им приходится одновременно обслуживать несколько приложений с разными распределениями данных, таких как взаимодействие с виртуальным помощником и преобразование речи в текст. Наиболее простое решение для обслуживания нескольких приложений — создание специализированных (языковых) моделей для каждого приложения, однако это приводит к увеличению объема используемой памяти. Поэтому мы исследуем различные подходы к языковому моделированию, основанные на данных и архитектуре, чтобы создать единую универсальную модель. Мы предлагаем две новые архитектуры с прямой связью, которые находят оптимальный баланс между различными ограничениями на устройствах. По сравнению с решением, использующим специализированные модели, один из наших новых подходов сокращает объем дискового пространства вдвое, сохраняя при этом скорость и точность исходной модели.

English

On-device automatic speech recognition systems face several challenges compared to server-based systems. They have to meet stricter constraints in terms of speed, disk size and memory while maintaining the same accuracy. Often they have to serve several applications with different distributions at once, such as communicating with a virtual assistant and speech-to-text. The simplest solution to serve multiple applications is to build application-specific (language) models, but this leads to an increase in memory. Therefore, we explore different data- and architecture-driven language modeling approaches to build a single application-agnostic model. We propose two novel feed-forward architectures that find an optimal trade off between different on-device constraints. In comparison to the application-specific solution, one of our novel approaches reduces the disk size by half, while maintaining speed and accuracy of the original model.