Contextualização de Reconhecimento de Fala End-to-End com Modelos de Linguagem de Grande Escala

End-to-End Speech Recognition Contextualization with Large Language Models

September 19, 2023

Autores: Egor Lakomkin, Chunyang Wu, Yassir Fathullah, Ozlem Kalinli, Michael L. Seltzer, Christian Fuegen

cs.AI

Resumo

Nos últimos anos, os Modelos de Linguagem de Grande Escala (LLMs) têm atraído atenção significativa da comunidade de pesquisa devido ao seu desempenho excepcional e capacidades de generalização. Neste artigo, apresentamos um método inovador para contextualizar modelos de reconhecimento de fala incorporando LLMs. Nossa abordagem enquadra o reconhecimento de fala como uma tarefa de modelagem de linguagem multimodal baseada em um LLM pré-treinado. Fornecemos características de áudio, juntamente com tokens de texto opcionais para contexto, para treinar o sistema a completar transcrições de forma exclusivamente decodificadora. Como resultado, o sistema é implicitamente incentivado a aprender como aproveitar informações contextuais não estruturadas durante o treinamento. Nossos resultados empíricos demonstram uma melhoria significativa no desempenho, com uma redução de 6% na Taxa de Erro de Palavras (WER) quando o contexto textual adicional é fornecido. Além disso, descobrimos que nosso método se desempenha de forma competitiva e melhora em 7,5% no WER geral e 17% no WER para palavras raras em comparação com um sistema RNN-T contextualizado de referência que foi treinado em um conjunto de dados de fala mais de vinte e cinco vezes maior. No geral, demonstramos que, ao adicionar apenas um pequeno número de parâmetros treináveis por meio de adaptadores, podemos desbloquear a capacidade de reconhecimento de fala contextualizado para o LLM pré-treinado, mantendo a mesma funcionalidade de entrada apenas de texto.

English

In recent years, Large Language Models (LLMs) have garnered significant attention from the research community due to their exceptional performance and generalization capabilities. In this paper, we introduce a novel method for contextualizing speech recognition models incorporating LLMs. Our approach casts speech recognition as a mixed-modal language modeling task based on a pretrained LLM. We provide audio features, along with optional text tokens for context, to train the system to complete transcriptions in a decoder-only fashion. As a result, the system is implicitly incentivized to learn how to leverage unstructured contextual information during training. Our empirical results demonstrate a significant improvement in performance, with a 6% WER reduction when additional textual context is provided. Moreover, we find that our method performs competitively and improve by 7.5% WER overall and 17% WER on rare words against a baseline contextualized RNN-T system that has been trained on more than twenty five times larger speech dataset. Overall, we demonstrate that by only adding a handful number of trainable parameters via adapters, we can unlock contextualized speech recognition capability for the pretrained LLM while keeping the same text-only input functionality.