Контекстуализация сквозного распознавания речи с использованием крупных языковых моделей

End-to-End Speech Recognition Contextualization with Large Language Models

September 19, 2023

Авторы: Egor Lakomkin, Chunyang Wu, Yassir Fathullah, Ozlem Kalinli, Michael L. Seltzer, Christian Fuegen

cs.AI

Аннотация

В последние годы крупные языковые модели (LLM) привлекли значительное внимание исследовательского сообщества благодаря своим выдающимся характеристикам и способности к обобщению. В данной статье мы представляем новый метод контекстуализации моделей распознавания речи с использованием LLM. Наш подход рассматривает распознавание речи как задачу смешанного модального языкового моделирования на основе предварительно обученной LLM. Мы предоставляем аудио-признаки, а также опциональные текстовые токены для контекста, чтобы обучить систему завершать транскрипции в декодер-ориентированном режиме. В результате система неявно стимулируется к обучению использованию неструктурированной контекстной информации в процессе тренировки. Наши эмпирические результаты демонстрируют значительное улучшение производительности: снижение WER на 6% при предоставлении дополнительного текстового контекста. Более того, мы обнаружили, что наш метод конкурентоспособен и улучшает общий показатель WER на 7,5%, а на редких словах — на 17% по сравнению с базовой контекстуализированной системой RNN-T, обученной на наборе речевых данных, более чем в 25 раз превышающем по объему. В целом, мы показываем, что, добавляя лишь небольшое количество обучаемых параметров через адаптеры, можно раскрыть способность к контекстуализированному распознаванию речи для предварительно обученной LLM, сохраняя при этом функциональность работы только с текстовым вводом.

English

In recent years, Large Language Models (LLMs) have garnered significant attention from the research community due to their exceptional performance and generalization capabilities. In this paper, we introduce a novel method for contextualizing speech recognition models incorporating LLMs. Our approach casts speech recognition as a mixed-modal language modeling task based on a pretrained LLM. We provide audio features, along with optional text tokens for context, to train the system to complete transcriptions in a decoder-only fashion. As a result, the system is implicitly incentivized to learn how to leverage unstructured contextual information during training. Our empirical results demonstrate a significant improvement in performance, with a 6% WER reduction when additional textual context is provided. Moreover, we find that our method performs competitively and improve by 7.5% WER overall and 17% WER on rare words against a baseline contextualized RNN-T system that has been trained on more than twenty five times larger speech dataset. Overall, we demonstrate that by only adding a handful number of trainable parameters via adapters, we can unlock contextualized speech recognition capability for the pretrained LLM while keeping the same text-only input functionality.