Dynamische ASR-Pfade: Ein adaptiver Maskierungsansatz zur effizienten Reduzierung eines mehrsprachigen ASR-Modells

Dynamic ASR Pathways: An Adaptive Masking Approach Towards Efficient Pruning of A Multilingual ASR Model

September 22, 2023

Autoren: Jiamin Xie, Ke Li, Jinxi Guo, Andros Tjandra, Yuan Shangguan, Leda Sari, Chunyang Wu, Junteng Jia, Jay Mahadeokar, Ozlem Kalinli

cs.AI

Zusammenfassung

Das Pruning von neuronalen Netzen bietet eine effektive Methode zur Komprimierung eines mehrsprachigen automatischen Spracherkennungsmodells (ASR) mit minimalem Leistungsverlust. Allerdings erfordert es mehrere Runden von Pruning und erneuten Training, die für jede Sprache durchgeführt werden müssen. In dieser Arbeit schlagen wir den Einsatz eines adaptiven Maskierungsansatzes in zwei Szenarien vor, um ein mehrsprachiges ASR-Modell effizient zu prunen, wobei jeweils spärliche einsprachige Modelle oder ein spärliches mehrsprachiges Modell (genannt Dynamic ASR Pathways) entstehen. Unser Ansatz passt das Teilnetzwerk dynamisch an und vermeidet somit vorzeitige Entscheidungen über eine feste Teilnetzwerkstruktur. Wir zeigen, dass unser Ansatz bestehende Pruning-Methoden übertrifft, wenn es darum geht, spärliche einsprachige Modelle zu erzeugen. Darüber hinaus demonstrieren wir, dass Dynamic ASR Pathways gemeinsam bessere Teilnetzwerke (Pathways) eines einzelnen mehrsprachigen Modells entdeckt und trainiert, indem es von verschiedenen Teilnetzwerk-Initialisierungen ausgeht, wodurch der Bedarf für sprachspezifisches Pruning reduziert wird.

English

Neural network pruning offers an effective method for compressing a multilingual automatic speech recognition (ASR) model with minimal performance loss. However, it entails several rounds of pruning and re-training needed to be run for each language. In this work, we propose the use of an adaptive masking approach in two scenarios for pruning a multilingual ASR model efficiently, each resulting in sparse monolingual models or a sparse multilingual model (named as Dynamic ASR Pathways). Our approach dynamically adapts the sub-network, avoiding premature decisions about a fixed sub-network structure. We show that our approach outperforms existing pruning methods when targeting sparse monolingual models. Further, we illustrate that Dynamic ASR Pathways jointly discovers and trains better sub-networks (pathways) of a single multilingual model by adapting from different sub-network initializations, thereby reducing the need for language-specific pruning.