大規模言語モデルの低ランク適応によるパラメータ効率の良い音声認識リスコアリング

要旨

我々は、低ランク適応（LoRA）に基づくニューラル言語モデリングシステムを音声認識出力のリスコアリングに提案する。BERTのような事前学習済み言語モデル（LM）は第二パスのリスコアリングで優れた性能を示すが、事前学習段階のスケールアップや特定ドメインへの適応に伴う高い計算コストが、リスコアリングにおける実用的な使用を制限している。本稿では、低ランク分解に基づく手法を提示し、事前学習済みパラメータの僅か0.08%を使用してリスコアリング用BERTモデルを訓練し、新たなドメインに適応させる。これらの挿入行列は、識別訓練目的関数と相関ベースの正則化損失を用いて最適化される。提案する低ランク適応Rescore-BERT（LoRB）アーキテクチャは、LibriSpeechおよび内部データセットで評価され、訓練時間を5.4倍から3.6倍に短縮した。

English

We propose a neural language modeling system based on low-rank adaptation (LoRA) for speech recognition output rescoring. Although pretrained language models (LMs) like BERT have shown superior performance in second-pass rescoring, the high computational cost of scaling up the pretraining stage and adapting the pretrained models to specific domains limit their practical use in rescoring. Here we present a method based on low-rank decomposition to train a rescoring BERT model and adapt it to new domains using only a fraction (0.08%) of the pretrained parameters. These inserted matrices are optimized through a discriminative training objective along with a correlation-based regularization loss. The proposed low-rank adaptation Rescore-BERT (LoRB) architecture is evaluated on LibriSpeech and internal datasets with decreased training times by factors between 5.4 and 3.6.

大規模言語モデルの低ランク適応によるパラメータ効率の良い音声認識リスコアリング

Low-rank Adaptation of Large Language Model Rescoring for Parameter-Efficient Speech Recognition

要旨

Support