Caminhos Dinâmicos para ASR: Uma Abordagem de Mascaramento Adaptativo para a Poda Eficiente de um Modelo Multilíngue de ASR

Dynamic ASR Pathways: An Adaptive Masking Approach Towards Efficient Pruning of A Multilingual ASR Model

September 22, 2023

Autores: Jiamin Xie, Ke Li, Jinxi Guo, Andros Tjandra, Yuan Shangguan, Leda Sari, Chunyang Wu, Junteng Jia, Jay Mahadeokar, Ozlem Kalinli

cs.AI

Resumo

A poda de redes neurais oferece um método eficaz para comprimir um modelo de reconhecimento automático de fala (ASR) multilíngue com perda mínima de desempenho. No entanto, ela envolve várias rodadas de poda e retreinamento que precisam ser executadas para cada idioma. Neste trabalho, propomos o uso de uma abordagem de mascaramento adaptativo em dois cenários para podar um modelo de ASR multilíngue de forma eficiente, resultando em modelos monolíngues esparsos ou em um modelo multilíngue esparso (denominado Dynamic ASR Pathways). Nossa abordagem adapta dinamicamente a sub-rede, evitando decisões prematuras sobre uma estrutura fixa de sub-rede. Demonstramos que nossa abordagem supera os métodos de poda existentes ao visar modelos monolíngues esparsos. Além disso, ilustramos que o Dynamic ASR Pathways descobre e treina conjuntamente sub-redes (caminhos) melhores de um único modelo multilíngue, adaptando-se a diferentes inicializações de sub-redes, reduzindo assim a necessidade de poda específica para cada idioma.

English

Neural network pruning offers an effective method for compressing a multilingual automatic speech recognition (ASR) model with minimal performance loss. However, it entails several rounds of pruning and re-training needed to be run for each language. In this work, we propose the use of an adaptive masking approach in two scenarios for pruning a multilingual ASR model efficiently, each resulting in sparse monolingual models or a sparse multilingual model (named as Dynamic ASR Pathways). Our approach dynamically adapts the sub-network, avoiding premature decisions about a fixed sub-network structure. We show that our approach outperforms existing pruning methods when targeting sparse monolingual models. Further, we illustrate that Dynamic ASR Pathways jointly discovers and trains better sub-networks (pathways) of a single multilingual model by adapting from different sub-network initializations, thereby reducing the need for language-specific pruning.