Динамические пути ASR: адаптивный подход с маскированием для эффективного прореживания многоязычной модели ASR

Dynamic ASR Pathways: An Adaptive Masking Approach Towards Efficient Pruning of A Multilingual ASR Model

September 22, 2023

Авторы: Jiamin Xie, Ke Li, Jinxi Guo, Andros Tjandra, Yuan Shangguan, Leda Sari, Chunyang Wu, Junteng Jia, Jay Mahadeokar, Ozlem Kalinli

cs.AI

Аннотация

Обрезка нейронных сетей предлагает эффективный метод сжатия многоязычной модели автоматического распознавания речи (ASR) с минимальной потерей производительности. Однако этот процесс требует нескольких циклов обрезки и повторного обучения для каждого языка. В данной работе мы предлагаем использование адаптивного подхода с маскированием в двух сценариях для эффективной обрезки многоязычной модели ASR, что приводит либо к разреженным одноязычным моделям, либо к разреженной многоязычной модели (названной Dynamic ASR Pathways). Наш подход динамически адаптирует подсеть, избегая преждевременных решений о фиксированной структуре подсети. Мы показываем, что наш подход превосходит существующие методы обрезки при создании разреженных одноязычных моделей. Кроме того, мы демонстрируем, что Dynamic ASR Pathways совместно обнаруживает и обучает более качественные подсети (пути) единой многоязычной модели, адаптируясь из различных начальных состояний подсетей, тем самым снижая необходимость в языково-специфичной обрезке.

English

Neural network pruning offers an effective method for compressing a multilingual automatic speech recognition (ASR) model with minimal performance loss. However, it entails several rounds of pruning and re-training needed to be run for each language. In this work, we propose the use of an adaptive masking approach in two scenarios for pruning a multilingual ASR model efficiently, each resulting in sparse monolingual models or a sparse multilingual model (named as Dynamic ASR Pathways). Our approach dynamically adapts the sub-network, avoiding premature decisions about a fixed sub-network structure. We show that our approach outperforms existing pruning methods when targeting sparse monolingual models. Further, we illustrate that Dynamic ASR Pathways jointly discovers and trains better sub-networks (pathways) of a single multilingual model by adapting from different sub-network initializations, thereby reducing the need for language-specific pruning.