動的ASRパスウェイ：多言語ASRモデルの効率的なプルーニングに向けた適応的マスキングアプローチ

要旨

ニューラルネットワークのプルーニングは、性能の低下を最小限に抑えながら多言語自動音声認識（ASR）モデルを圧縮する効果的な方法を提供します。しかし、各言語に対して複数回のプルーニングと再トレーニングを実行する必要があります。本研究では、効率的に多言語ASRモデルをプルーニングするための適応的マスキングアプローチを2つのシナリオで提案します。それぞれ、疎な単言語モデルまたは疎な多言語モデル（Dynamic ASR Pathwaysと命名）を生成します。本アプローチは、固定されたサブネットワーク構造に関する早期の決定を避け、サブネットワークを動的に適応させます。疎な単言語モデルをターゲットとする場合、本アプローチが既存のプルーニング手法を上回ることを示します。さらに、Dynamic ASR Pathwaysが、異なるサブネットワーク初期化から適応することで、単一の多言語モデルのより優れたサブネットワーク（パスウェイ）を共同で発見およびトレーニングし、言語固有のプルーニングの必要性を低減することを示します。

English

Neural network pruning offers an effective method for compressing a multilingual automatic speech recognition (ASR) model with minimal performance loss. However, it entails several rounds of pruning and re-training needed to be run for each language. In this work, we propose the use of an adaptive masking approach in two scenarios for pruning a multilingual ASR model efficiently, each resulting in sparse monolingual models or a sparse multilingual model (named as Dynamic ASR Pathways). Our approach dynamically adapts the sub-network, avoiding premature decisions about a fixed sub-network structure. We show that our approach outperforms existing pruning methods when targeting sparse monolingual models. Further, we illustrate that Dynamic ASR Pathways jointly discovers and trains better sub-networks (pathways) of a single multilingual model by adapting from different sub-network initializations, thereby reducing the need for language-specific pruning.

動的ASRパスウェイ：多言語ASRモデルの効率的なプルーニングに向けた適応的マスキングアプローチ

Dynamic ASR Pathways: An Adaptive Masking Approach Towards Efficient Pruning of A Multilingual ASR Model

要旨

Support