Rutas Dinámicas para ASR: Un Enfoque de Enmascaramiento Adaptativo hacia la Poda Eficiente de un Modelo Multilingüe de ASR

Dynamic ASR Pathways: An Adaptive Masking Approach Towards Efficient Pruning of A Multilingual ASR Model

September 22, 2023

Autores: Jiamin Xie, Ke Li, Jinxi Guo, Andros Tjandra, Yuan Shangguan, Leda Sari, Chunyang Wu, Junteng Jia, Jay Mahadeokar, Ozlem Kalinli

cs.AI

Resumen

La poda de redes neuronales ofrece un método efectivo para comprimir un modelo multilingüe de reconocimiento automático del habla (ASR) con una pérdida mínima de rendimiento. Sin embargo, implica varias rondas de poda y reentrenamiento que deben ejecutarse para cada idioma. En este trabajo, proponemos el uso de un enfoque de enmascaramiento adaptativo en dos escenarios para podar eficientemente un modelo multilingüe de ASR, lo que resulta en modelos monolingües dispersos o en un modelo multilingüe disperso (denominado como Dynamic ASR Pathways). Nuestro enfoque adapta dinámicamente la subred, evitando decisiones prematuras sobre una estructura fija de subred. Demostramos que nuestro enfoque supera a los métodos de poda existentes cuando se apunta a modelos monolingües dispersos. Además, ilustramos que Dynamic ASR Pathways descubre y entrena conjuntamente mejores subredes (rutas) de un único modelo multilingüe al adaptarse a diferentes inicializaciones de subred, reduciendo así la necesidad de una poda específica por idioma.

English

Neural network pruning offers an effective method for compressing a multilingual automatic speech recognition (ASR) model with minimal performance loss. However, it entails several rounds of pruning and re-training needed to be run for each language. In this work, we propose the use of an adaptive masking approach in two scenarios for pruning a multilingual ASR model efficiently, each resulting in sparse monolingual models or a sparse multilingual model (named as Dynamic ASR Pathways). Our approach dynamically adapts the sub-network, avoiding premature decisions about a fixed sub-network structure. We show that our approach outperforms existing pruning methods when targeting sparse monolingual models. Further, we illustrate that Dynamic ASR Pathways jointly discovers and trains better sub-networks (pathways) of a single multilingual model by adapting from different sub-network initializations, thereby reducing the need for language-specific pruning.