Meertalige en volledig niet-autoregressieve spraakherkenning met Large Language Model-fusie: een uitgebreide studie

Multilingual and Fully Non-Autoregressive ASR with Large Language Model Fusion: A Comprehensive Study

January 23, 2024

Auteurs: W. Ronny Huang, Cyril Allauzen, Tongzhou Chen, Kilol Gupta, Ke Hu, James Qin, Yu Zhang, Yongqiang Wang, Shuo-Yiin Chang, Tara N. Sainath

cs.AI

Samenvatting

In het tijdperk van grote modellen vormt de autoregressieve aard van decodering vaak een aanzienlijke bottleneck door latentie. Wij stellen een niet-autoregressief LM-geïntegreerd ASR-systeem voor dat effectief gebruikmaakt van de parallelle verwerkingsmogelijkheden van acceleratorhardware. Onze aanpak combineert het Universal Speech Model (USM) en het PaLM 2-taalmodel in de per-segment scoringsmodus, wat resulteert in een gemiddelde relatieve WER-verbetering van 10,8% op FLEURS en 3,6% op YouTube-ondertiteling voor alle talen. Daarnaast analyseert onze uitgebreide ablatiestudie belangrijke parameters zoals de grootte van het LLM, contextlengte, vocabulairegrootte en fusiemethodologie. Zo onderzoeken we bijvoorbeeld de impact van de grootte van het LLM, variërend van 128M tot 340B parameters, op de ASR-prestaties. Deze studie biedt waardevolle inzichten in de factoren die de effectiviteit van praktische grootschalige LM-geïntegreerde spraakherkenningssystemen beïnvloeden.

English

In the era of large models, the autoregressive nature of decoding often results in latency serving as a significant bottleneck. We propose a non-autoregressive LM-fused ASR system that effectively leverages the parallelization capabilities of accelerator hardware. Our approach combines the Universal Speech Model (USM) and the PaLM 2 language model in per-segment scoring mode, achieving an average relative WER improvement across all languages of 10.8% on FLEURS and 3.6% on YouTube captioning. Furthermore, our comprehensive ablation study analyzes key parameters such as LLM size, context length, vocabulary size, fusion methodology. For instance, we explore the impact of LLM size ranging from 128M to 340B parameters on ASR performance. This study provides valuable insights into the factors influencing the effectiveness of practical large-scale LM-fused speech recognition systems.