Percorsi Dinamici per ASR: Un Approccio di Mascheramento Adattivo per un'Efficiente Potatura di un Modello ASR Multilingue

Dynamic ASR Pathways: An Adaptive Masking Approach Towards Efficient Pruning of A Multilingual ASR Model

September 22, 2023

Autori: Jiamin Xie, Ke Li, Jinxi Guo, Andros Tjandra, Yuan Shangguan, Leda Sari, Chunyang Wu, Junteng Jia, Jay Mahadeokar, Ozlem Kalinli

cs.AI

Abstract

La potatura delle reti neurali offre un metodo efficace per comprimere un modello multilingue di riconoscimento automatico del parlato (ASR) con una perdita di prestazioni minima. Tuttavia, richiede diverse iterazioni di potatura e ri-addestramento da eseguire per ciascuna lingua. In questo lavoro, proponiamo l'uso di un approccio di mascheramento adattivo in due scenari per potare in modo efficiente un modello ASR multilingue, ottenendo rispettivamente modelli monolingui sparsi o un modello multilingue sparso (denominato Dynamic ASR Pathways). Il nostro approccio adatta dinamicamente la sotto-rete, evitando decisioni premature su una struttura fissa della sotto-rete. Dimostriamo che il nostro approccio supera i metodi di potatura esistenti quando si punta a modelli monolingui sparsi. Inoltre, illustriamo che Dynamic ASR Pathways scopre e addestra congiuntamente sotto-reti (percorsi) migliori di un singolo modello multilingue adattandosi da diverse inizializzazioni della sotto-rete, riducendo così la necessità di potatura specifica per lingua.

English

Neural network pruning offers an effective method for compressing a multilingual automatic speech recognition (ASR) model with minimal performance loss. However, it entails several rounds of pruning and re-training needed to be run for each language. In this work, we propose the use of an adaptive masking approach in two scenarios for pruning a multilingual ASR model efficiently, each resulting in sparse monolingual models or a sparse multilingual model (named as Dynamic ASR Pathways). Our approach dynamically adapts the sub-network, avoiding premature decisions about a fixed sub-network structure. We show that our approach outperforms existing pruning methods when targeting sparse monolingual models. Further, we illustrate that Dynamic ASR Pathways jointly discovers and trains better sub-networks (pathways) of a single multilingual model by adapting from different sub-network initializations, thereby reducing the need for language-specific pruning.