Dynamische ASR-paden: Een adaptieve maskeringsbenadering voor efficiënte pruning van een meertalig ASR-model

Dynamic ASR Pathways: An Adaptive Masking Approach Towards Efficient Pruning of A Multilingual ASR Model

September 22, 2023

Auteurs: Jiamin Xie, Ke Li, Jinxi Guo, Andros Tjandra, Yuan Shangguan, Leda Sari, Chunyang Wu, Junteng Jia, Jay Mahadeokar, Ozlem Kalinli

cs.AI

Samenvatting

Neuraal netwerk snoeien biedt een effectieve methode voor het comprimeren van een meertalig automatisch spraakherkenningsmodel (ASR) met minimaal prestatieverlies. Het vereist echter meerdere rondes van snoeien en opnieuw trainen die voor elke taal moeten worden uitgevoerd. In dit werk stellen we het gebruik van een adaptieve maskeringsbenadering voor in twee scenario's voor het efficiënt snoeien van een meertalig ASR-model, wat resulteert in ofwel spaarzame eentalige modellen of een spaarzaam meertalig model (genaamd Dynamic ASR Pathways). Onze benadering past het sub-netwerk dynamisch aan, waardoor voortijdige beslissingen over een vaste sub-netwerkstructuur worden vermeden. We tonen aan dat onze benadering bestaande snoeimethoden overtreft wanneer het doel is om spaarzame eentalige modellen te creëren. Verder illustreren we dat Dynamic ASR Pathways gezamenlijk betere sub-netwerken (paden) van een enkel meertalig model ontdekt en traint door zich aan te passen vanuit verschillende sub-netwerkinitialisaties, waardoor de behoefte aan taal-specifiek snoeien wordt verminderd.

English

Neural network pruning offers an effective method for compressing a multilingual automatic speech recognition (ASR) model with minimal performance loss. However, it entails several rounds of pruning and re-training needed to be run for each language. In this work, we propose the use of an adaptive masking approach in two scenarios for pruning a multilingual ASR model efficiently, each resulting in sparse monolingual models or a sparse multilingual model (named as Dynamic ASR Pathways). Our approach dynamically adapts the sub-network, avoiding premature decisions about a fixed sub-network structure. We show that our approach outperforms existing pruning methods when targeting sparse monolingual models. Further, we illustrate that Dynamic ASR Pathways jointly discovers and trains better sub-networks (pathways) of a single multilingual model by adapting from different sub-network initializations, thereby reducing the need for language-specific pruning.