Modellamento del Linguaggio Indipendente dall'Applicazione per ASR su Dispositivo

Application-Agnostic Language Modeling for On-Device ASR

May 16, 2023

Autori: Markus Nußbaum-Thom, Lyan Verwimp, Youssef Oualil

cs.AI

Abstract

I sistemi di riconoscimento vocale automatico su dispositivo presentano diverse sfide rispetto ai sistemi basati su server. Devono rispettare vincoli più stringenti in termini di velocità, dimensioni del disco e memoria, mantenendo al contempo la stessa accuratezza. Spesso devono servire più applicazioni con distribuzioni diverse simultaneamente, come la comunicazione con un assistente virtuale e la conversione da voce a testo. La soluzione più semplice per servire più applicazioni è costruire modelli (linguistici) specifici per ogni applicazione, ma ciò comporta un aumento della memoria. Pertanto, esploriamo diversi approcci di modellazione linguistica basati su dati e architetture per costruire un unico modello indipendente dall'applicazione. Proponiamo due nuove architetture feed-forward che trovano un compromesso ottimale tra i diversi vincoli su dispositivo. Rispetto alla soluzione specifica per applicazione, uno dei nostri approcci innovativi riduce le dimensioni del disco della metà, mantenendo la velocità e l'accuratezza del modello originale.

English

On-device automatic speech recognition systems face several challenges compared to server-based systems. They have to meet stricter constraints in terms of speed, disk size and memory while maintaining the same accuracy. Often they have to serve several applications with different distributions at once, such as communicating with a virtual assistant and speech-to-text. The simplest solution to serve multiple applications is to build application-specific (language) models, but this leads to an increase in memory. Therefore, we explore different data- and architecture-driven language modeling approaches to build a single application-agnostic model. We propose two novel feed-forward architectures that find an optimal trade off between different on-device constraints. In comparison to the application-specific solution, one of our novel approaches reduces the disk size by half, while maintaining speed and accuracy of the original model.