Toepassingsonafhankelijke Taalmodellering voor On-Device Spraakherkenning

Application-Agnostic Language Modeling for On-Device ASR

May 16, 2023

Auteurs: Markus Nußbaum-Thom, Lyan Verwimp, Youssef Oualil

cs.AI

Samenvatting

Automatische spraakherkenningssystemen op apparaten staan voor verschillende uitdagingen in vergelijking met servergebaseerde systemen. Ze moeten voldoen aan strengere beperkingen op het gebied van snelheid, schijfruimte en geheugen, terwijl ze dezelfde nauwkeurigheid behouden. Vaak moeten ze meerdere toepassingen met verschillende distributies tegelijkertijd bedienen, zoals communiceren met een virtuele assistent en spraak-naar-tekst. De eenvoudigste oplossing om meerdere toepassingen te bedienen, is het bouwen van toepassingsspecifieke (taal)modellen, maar dit leidt tot een toename van het geheugengebruik. Daarom onderzoeken we verschillende data- en architectuurgedreven benaderingen voor taalmodellering om een enkel toepassingsagnostisch model te bouwen. We stellen twee nieuwe feed-forward-architecturen voor die een optimale balans vinden tussen verschillende beperkingen op apparaten. In vergelijking met de toepassingsspecifieke oplossing, reduceert een van onze nieuwe benaderingen de schijfruimte met de helft, terwijl de snelheid en nauwkeurigheid van het oorspronkelijke model behouden blijven.

English

On-device automatic speech recognition systems face several challenges compared to server-based systems. They have to meet stricter constraints in terms of speed, disk size and memory while maintaining the same accuracy. Often they have to serve several applications with different distributions at once, such as communicating with a virtual assistant and speech-to-text. The simplest solution to serve multiple applications is to build application-specific (language) models, but this leads to an increase in memory. Therefore, we explore different data- and architecture-driven language modeling approaches to build a single application-agnostic model. We propose two novel feed-forward architectures that find an optimal trade off between different on-device constraints. In comparison to the application-specific solution, one of our novel approaches reduces the disk size by half, while maintaining speed and accuracy of the original model.