Многоязычное и полностью неавторегрессивное распознавание речи с интеграцией крупных языковых моделей: всестороннее исследование
Multilingual and Fully Non-Autoregressive ASR with Large Language Model Fusion: A Comprehensive Study
January 23, 2024
Авторы: W. Ronny Huang, Cyril Allauzen, Tongzhou Chen, Kilol Gupta, Ke Hu, James Qin, Yu Zhang, Yongqiang Wang, Shuo-Yiin Chang, Tara N. Sainath
cs.AI
Аннотация
В эпоху больших моделей авторегрессивный характер декодирования часто приводит к тому, что задержка становится значительным узким местом. Мы предлагаем неавторегрессивную систему распознавания речи (ASR) с интеграцией языковой модели (LM), которая эффективно использует возможности параллелизации аппаратного ускорения. Наш подход сочетает Универсальную речевую модель (USM) и языковую модель PaLM 2 в режиме оценки по сегментам, достигая среднего относительного улучшения WER на 10,8% для всех языков на наборе данных FLEURS и на 3,6% для субтитров YouTube. Кроме того, наше всестороннее исследование с исключением параметров анализирует ключевые факторы, такие как размер LLM, длина контекста, размер словаря и методология интеграции. Например, мы исследуем влияние размера LLM, варьирующегося от 128 миллионов до 340 миллиардов параметров, на производительность ASR. Это исследование предоставляет ценные инсайты о факторах, влияющих на эффективность практических крупномасштабных систем распознавания речи с интеграцией языковых моделей.
English
In the era of large models, the autoregressive nature of decoding often
results in latency serving as a significant bottleneck. We propose a
non-autoregressive LM-fused ASR system that effectively leverages the
parallelization capabilities of accelerator hardware. Our approach combines the
Universal Speech Model (USM) and the PaLM 2 language model in per-segment
scoring mode, achieving an average relative WER improvement across all
languages of 10.8% on FLEURS and 3.6% on YouTube captioning. Furthermore, our
comprehensive ablation study analyzes key parameters such as LLM size, context
length, vocabulary size, fusion methodology. For instance, we explore the
impact of LLM size ranging from 128M to 340B parameters on ASR performance.
This study provides valuable insights into the factors influencing the
effectiveness of practical large-scale LM-fused speech recognition systems.