End-to-End Spraakherkenning Contextualisering met Grote Taalmodellen

End-to-End Speech Recognition Contextualization with Large Language Models

September 19, 2023

Auteurs: Egor Lakomkin, Chunyang Wu, Yassir Fathullah, Ozlem Kalinli, Michael L. Seltzer, Christian Fuegen

cs.AI

Samenvatting

De afgelopen jaren hebben Large Language Models (LLM's) aanzienlijke aandacht gekregen van de onderzoeksgemeenschap vanwege hun uitzonderlijke prestaties en generalisatievermogen. In dit artikel introduceren we een nieuwe methode voor het contextualiseren van spraakherkenningsmodellen met behulp van LLM's. Onze benadering behandelt spraakherkenning als een gemengd-modale taak voor taalmodelvorming, gebaseerd op een vooraf getraind LLM. We leveren audiofeatures, samen met optionele teksttokens voor context, om het systeem te trainen transcripties te voltooien in een decoder-only stijl. Hierdoor wordt het systeem impliciet gestimuleerd om te leren hoe ongestructureerde contextuele informatie tijdens de training kan worden benut. Onze empirische resultaten tonen een significante verbetering in prestaties, met een reductie van 6% in WER wanneer aanvullende tekstuele context wordt geboden. Bovendien blijkt dat onze methode concurrerend presteert en met 7,5% WER in het algemeen en 17% WER op zeldzame woorden verbetert ten opzichte van een baseline gecontextualiseerd RNN-T-systeem dat is getraind op een spraakdataset die meer dan vijfentwintig keer groter is. Over het geheel genomen tonen we aan dat door slechts een handvol trainbare parameters toe te voegen via adapters, we gecontextualiseerde spraakherkenningsmogelijkheden kunnen ontgrendelen voor het vooraf getrainde LLM, terwijl dezelfde tekst-only inputfunctionaliteit behouden blijft.

English

In recent years, Large Language Models (LLMs) have garnered significant attention from the research community due to their exceptional performance and generalization capabilities. In this paper, we introduce a novel method for contextualizing speech recognition models incorporating LLMs. Our approach casts speech recognition as a mixed-modal language modeling task based on a pretrained LLM. We provide audio features, along with optional text tokens for context, to train the system to complete transcriptions in a decoder-only fashion. As a result, the system is implicitly incentivized to learn how to leverage unstructured contextual information during training. Our empirical results demonstrate a significant improvement in performance, with a 6% WER reduction when additional textual context is provided. Moreover, we find that our method performs competitively and improve by 7.5% WER overall and 17% WER on rare words against a baseline contextualized RNN-T system that has been trained on more than twenty five times larger speech dataset. Overall, we demonstrate that by only adding a handful number of trainable parameters via adapters, we can unlock contextualized speech recognition capability for the pretrained LLM while keeping the same text-only input functionality.