Mehrsprachige und vollständig nicht-autoregressive Spracherkennung mit Large Language Model Fusion: Eine umfassende Studie

Multilingual and Fully Non-Autoregressive ASR with Large Language Model Fusion: A Comprehensive Study

January 23, 2024

Autoren: W. Ronny Huang, Cyril Allauzen, Tongzhou Chen, Kilol Gupta, Ke Hu, James Qin, Yu Zhang, Yongqiang Wang, Shuo-Yiin Chang, Tara N. Sainath

cs.AI

Zusammenfassung

Im Zeitalter großer Modelle stellt die autoregressive Natur des Decodierens oft eine erhebliche Latenz dar, die als Engpass fungiert. Wir schlagen ein nicht-autoregressives, mit einem Sprachmodell fusioniertes ASR-System vor, das die Parallelisierungsfähigkeiten von Beschleuniger-Hardware effektiv nutzt. Unser Ansatz kombiniert das Universal Speech Model (USM) und das PaLM 2-Sprachmodell im Per-Segment-Scoring-Modus und erreicht eine durchschnittliche relative WER-Verbesserung über alle Sprachen hinweg von 10,8 % auf FLEURS und 3,6 % auf YouTube-Untertiteln. Darüber hinaus analysiert unsere umfassende Ablationsstudie Schlüsselparameter wie die Größe des LLM, die Kontextlänge, die Vokabulargröße und die Fusionsmethodik. Beispielsweise untersuchen wir den Einfluss der LLM-Größe, die von 128M bis 340B Parametern reicht, auf die ASR-Leistung. Diese Studie bietet wertvolle Einblicke in die Faktoren, die die Effektivität praktischer, großflächig mit Sprachmodellen fusionierter Spracherkennungssysteme beeinflussen.

English

In the era of large models, the autoregressive nature of decoding often results in latency serving as a significant bottleneck. We propose a non-autoregressive LM-fused ASR system that effectively leverages the parallelization capabilities of accelerator hardware. Our approach combines the Universal Speech Model (USM) and the PaLM 2 language model in per-segment scoring mode, achieving an average relative WER improvement across all languages of 10.8% on FLEURS and 3.6% on YouTube captioning. Furthermore, our comprehensive ablation study analyzes key parameters such as LLM size, context length, vocabulary size, fusion methodology. For instance, we explore the impact of LLM size ranging from 128M to 340B parameters on ASR performance. This study provides valuable insights into the factors influencing the effectiveness of practical large-scale LM-fused speech recognition systems.