Contextualisation de la reconnaissance vocale de bout en bout avec des modèles de langage à grande échelle

End-to-End Speech Recognition Contextualization with Large Language Models

September 19, 2023

papers.authors: Egor Lakomkin, Chunyang Wu, Yassir Fathullah, Ozlem Kalinli, Michael L. Seltzer, Christian Fuegen

cs.AI

papers.abstract

Ces dernières années, les modèles de langage de grande taille (LLMs) ont suscité un intérêt considérable de la part de la communauté de recherche en raison de leurs performances exceptionnelles et de leurs capacités de généralisation. Dans cet article, nous présentons une nouvelle méthode pour contextualiser les modèles de reconnaissance vocale en intégrant des LLMs. Notre approche reformule la reconnaissance vocale comme une tâche de modélisation du langage multimodale basée sur un LLM pré-entraîné. Nous fournissons des caractéristiques audio, ainsi que des tokens textuels optionnels pour le contexte, afin d'entraîner le système à compléter les transcriptions de manière décodage uniquement. Par conséquent, le système est implicitement incité à apprendre à exploiter des informations contextuelles non structurées pendant l'entraînement. Nos résultats empiriques montrent une amélioration significative des performances, avec une réduction de 6 % du taux d'erreur de mots (WER) lorsque du contexte textuel supplémentaire est fourni. De plus, nous constatons que notre méthode se comporte de manière compétitive et améliore de 7,5 % le WER global et de 17 % le WER sur les mots rares par rapport à un système RNN-T contextualisé de référence qui a été entraîné sur un ensemble de données vocales plus de vingt-cinq fois plus volumineux. Globalement, nous démontrons qu'en ajoutant seulement un petit nombre de paramètres entraînables via des adaptateurs, nous pouvons débloquer la capacité de reconnaissance vocale contextualisée pour le LLM pré-entraîné tout en conservant la même fonctionnalité d'entrée textuelle uniquement.

English

In recent years, Large Language Models (LLMs) have garnered significant attention from the research community due to their exceptional performance and generalization capabilities. In this paper, we introduce a novel method for contextualizing speech recognition models incorporating LLMs. Our approach casts speech recognition as a mixed-modal language modeling task based on a pretrained LLM. We provide audio features, along with optional text tokens for context, to train the system to complete transcriptions in a decoder-only fashion. As a result, the system is implicitly incentivized to learn how to leverage unstructured contextual information during training. Our empirical results demonstrate a significant improvement in performance, with a 6% WER reduction when additional textual context is provided. Moreover, we find that our method performs competitively and improve by 7.5% WER overall and 17% WER on rare words against a baseline contextualized RNN-T system that has been trained on more than twenty five times larger speech dataset. Overall, we demonstrate that by only adding a handful number of trainable parameters via adapters, we can unlock contextualized speech recognition capability for the pretrained LLM while keeping the same text-only input functionality.