Contestualizzazione End-to-End del Riconoscimento Vocale con Modelli Linguistici di Grande Dimensione

End-to-End Speech Recognition Contextualization with Large Language Models

September 19, 2023

Autori: Egor Lakomkin, Chunyang Wu, Yassir Fathullah, Ozlem Kalinli, Michael L. Seltzer, Christian Fuegen

cs.AI

Abstract

Negli ultimi anni, i Large Language Models (LLM) hanno attirato una significativa attenzione da parte della comunità di ricerca grazie alle loro eccezionali prestazioni e capacità di generalizzazione. In questo articolo, introduciamo un metodo innovativo per contestualizzare i modelli di riconoscimento vocale incorporando gli LLM. Il nostro approccio trasforma il riconoscimento vocale in un'attività di modellazione del linguaggio multimodale basata su un LLM preaddestrato. Forniamo caratteristiche audio, insieme a token di testo opzionali per il contesto, per addestrare il sistema a completare le trascrizioni in modalità decoder-only. Di conseguenza, il sistema è implicitamente incentivato a imparare come sfruttare le informazioni contestuali non strutturate durante l'addestramento. I nostri risultati empirici dimostrano un miglioramento significativo delle prestazioni, con una riduzione del 6% del WER quando viene fornito un contesto testuale aggiuntivo. Inoltre, scopriamo che il nostro metodo compete efficacemente e migliora del 7,5% il WER complessivo e del 17% il WER sulle parole rare rispetto a un sistema RNN-T contestualizzato di base che è stato addestrato su un dataset vocale più di venticinque volte più grande. Nel complesso, dimostriamo che aggiungendo solo un numero limitato di parametri addestrabili tramite adattatori, possiamo sbloccare la capacità di riconoscimento vocale contestualizzato per l'LLM preaddestrato mantenendo la stessa funzionalità di input testuale.

English

In recent years, Large Language Models (LLMs) have garnered significant attention from the research community due to their exceptional performance and generalization capabilities. In this paper, we introduce a novel method for contextualizing speech recognition models incorporating LLMs. Our approach casts speech recognition as a mixed-modal language modeling task based on a pretrained LLM. We provide audio features, along with optional text tokens for context, to train the system to complete transcriptions in a decoder-only fashion. As a result, the system is implicitly incentivized to learn how to leverage unstructured contextual information during training. Our empirical results demonstrate a significant improvement in performance, with a 6% WER reduction when additional textual context is provided. Moreover, we find that our method performs competitively and improve by 7.5% WER overall and 17% WER on rare words against a baseline contextualized RNN-T system that has been trained on more than twenty five times larger speech dataset. Overall, we demonstrate that by only adding a handful number of trainable parameters via adapters, we can unlock contextualized speech recognition capability for the pretrained LLM while keeping the same text-only input functionality.