ASR Multilingue e Completamente Non Autoregressivo con Fusione di Modelli Linguistici di Grandi Dimensioni: Uno Studio Completo

Multilingual and Fully Non-Autoregressive ASR with Large Language Model Fusion: A Comprehensive Study

January 23, 2024

Autori: W. Ronny Huang, Cyril Allauzen, Tongzhou Chen, Kilol Gupta, Ke Hu, James Qin, Yu Zhang, Yongqiang Wang, Shuo-Yiin Chang, Tara N. Sainath

cs.AI

Abstract

Nell'era dei modelli di grandi dimensioni, la natura autoregressiva del decoding spesso rende la latenza un collo di bottiglia significativo. Proponiamo un sistema ASR non autoregressivo con fusione di modelli linguistici che sfrutta efficacemente le capacità di parallelizzazione dell'hardware acceleratore. Il nostro approccio combina il Universal Speech Model (USM) e il modello linguistico PaLM 2 in modalità di scoring per segmento, ottenendo un miglioramento relativo medio del WER del 10,8% su FLEURS e del 3,6% sui sottotitoli di YouTube. Inoltre, il nostro studio di ablazione completo analizza parametri chiave come la dimensione del LLM, la lunghezza del contesto, la dimensione del vocabolario e la metodologia di fusione. Ad esempio, esploriamo l'impatto della dimensione del LLM, che varia da 128M a 340B parametri, sulle prestazioni ASR. Questo studio fornisce preziose informazioni sui fattori che influenzano l'efficacia dei sistemi pratici di riconoscimento vocale su larga scala con fusione di modelli linguistici.

English

In the era of large models, the autoregressive nature of decoding often results in latency serving as a significant bottleneck. We propose a non-autoregressive LM-fused ASR system that effectively leverages the parallelization capabilities of accelerator hardware. Our approach combines the Universal Speech Model (USM) and the PaLM 2 language model in per-segment scoring mode, achieving an average relative WER improvement across all languages of 10.8% on FLEURS and 3.6% on YouTube captioning. Furthermore, our comprehensive ablation study analyzes key parameters such as LLM size, context length, vocabulary size, fusion methodology. For instance, we explore the impact of LLM size ranging from 128M to 340B parameters on ASR performance. This study provides valuable insights into the factors influencing the effectiveness of practical large-scale LM-fused speech recognition systems.