Laagrangaanpassing van Large Language Model Rescoring voor Parameter-efficiënte Spraakherkenning

Low-rank Adaptation of Large Language Model Rescoring for Parameter-Efficient Speech Recognition

September 26, 2023

Auteurs: Yu Yu, Chao-Han Huck Yang, Jari Kolehmainen, Prashanth G. Shivakumar, Yile Gu, Sungho Ryu, Roger Ren, Qi Luo, Aditya Gourav, I-Fan Chen, Yi-Chieh Liu, Tuan Dinh, Ankur Gandhe, Denis Filimonov, Shalini Ghosh, Andreas Stolcke, Ariya Rastow, Ivan Bulyko

cs.AI

Samenvatting

We stellen een neuraal taalmodelleersysteem voor op basis van low-rank adaptatie (LoRA) voor het herscoren van spraakherkenningsuitvoer. Hoewel voorgetrainde taalmmodellen (LMs) zoals BERT superieure prestaties hebben getoond bij tweede-pass herscoring, beperken de hoge rekenkosten van het opschalen van de voorafgaande trainingsfase en het aanpassen van de voorgetrainde modellen aan specifieke domeinen hun praktische bruikbaarheid bij herscoring. Hier presenteren we een methode gebaseerd op low-rank decompositie om een herscorings-BERT-model te trainen en aan te passen aan nieuwe domeinen met slechts een fractie (0,08%) van de voorgetrainde parameters. Deze ingevoegde matrices worden geoptimaliseerd via een discriminatief trainingsdoel samen met een correlatiegebaseerde regularisatieverlies. De voorgestelde low-rank adaptatie Rescore-BERT (LoRB) architectuur wordt geëvalueerd op LibriSpeech en interne datasets met verminderde trainingstijden met factoren tussen 5,4 en 3,6.

English

We propose a neural language modeling system based on low-rank adaptation (LoRA) for speech recognition output rescoring. Although pretrained language models (LMs) like BERT have shown superior performance in second-pass rescoring, the high computational cost of scaling up the pretraining stage and adapting the pretrained models to specific domains limit their practical use in rescoring. Here we present a method based on low-rank decomposition to train a rescoring BERT model and adapt it to new domains using only a fraction (0.08%) of the pretrained parameters. These inserted matrices are optimized through a discriminative training objective along with a correlation-based regularization loss. The proposed low-rank adaptation Rescore-BERT (LoRB) architecture is evaluated on LibriSpeech and internal datasets with decreased training times by factors between 5.4 and 3.6.