ASR Multilíngue e Totalmente Não Autorregressiva com Fusão de Modelos de Linguagem de Grande Escala: Um Estudo Abrangente

Multilingual and Fully Non-Autoregressive ASR with Large Language Model Fusion: A Comprehensive Study

January 23, 2024

Autores: W. Ronny Huang, Cyril Allauzen, Tongzhou Chen, Kilol Gupta, Ke Hu, James Qin, Yu Zhang, Yongqiang Wang, Shuo-Yiin Chang, Tara N. Sainath

cs.AI

Resumo

Na era dos modelos de grande escala, a natureza autorregressiva da decodificação frequentemente resulta em latência, que se torna um gargalo significativo. Propomos um sistema de reconhecimento automático de fala (ASR) não autorregressivo com fusão de modelo de linguagem (LM) que aproveita efetivamente as capacidades de paralelização do hardware acelerador. Nossa abordagem combina o Universal Speech Model (USM) e o modelo de linguagem PaLM 2 no modo de pontuação por segmento, alcançando uma melhoria relativa média na taxa de erro de palavras (WER) de 10,8% no FLEURS e 3,6% na legendagem do YouTube em todos os idiomas. Além disso, nosso estudo abrangente de ablação analisa parâmetros-chave, como tamanho do LLM, comprimento do contexto, tamanho do vocabulário e metodologia de fusão. Por exemplo, exploramos o impacto do tamanho do LLM, variando de 128M a 340B parâmetros, no desempenho do ASR. Este estudo fornece insights valiosos sobre os fatores que influenciam a eficácia de sistemas práticos de reconhecimento de fala em grande escala com fusão de LM.

English

In the era of large models, the autoregressive nature of decoding often results in latency serving as a significant bottleneck. We propose a non-autoregressive LM-fused ASR system that effectively leverages the parallelization capabilities of accelerator hardware. Our approach combines the Universal Speech Model (USM) and the PaLM 2 language model in per-segment scoring mode, achieving an average relative WER improvement across all languages of 10.8% on FLEURS and 3.6% on YouTube captioning. Furthermore, our comprehensive ablation study analyzes key parameters such as LLM size, context length, vocabulary size, fusion methodology. For instance, we explore the impact of LLM size ranging from 128M to 340B parameters on ASR performance. This study provides valuable insights into the factors influencing the effectiveness of practical large-scale LM-fused speech recognition systems.