End-to-End-Spracherkennungskontextualisierung mit großen Sprachmodellen

Zusammenfassung

In den letzten Jahren haben Large Language Models (LLMs) aufgrund ihrer außergewöhnlichen Leistungsfähigkeit und Generalisierungsfähigkeiten erhebliche Aufmerksamkeit in der Forschungsgemeinschaft erregt. In diesem Artikel stellen wir eine neuartige Methode zur Kontextualisierung von Spracherkennungsmodellen vor, die LLMs einbezieht. Unser Ansatz formuliert Spracherkennung als eine gemischt-modale Sprachmodellierungsaufgabe basierend auf einem vortrainierten LLM. Wir stellen Audio-Features zusammen mit optionalen Text-Tokens für den Kontext bereit, um das System zu trainieren, Transkriptionen in einem reinen Decoder-Modus zu vervollständigen. Dadurch wird das System implizit dazu angeregt, zu lernen, wie es unstrukturierte Kontextinformationen während des Trainings nutzen kann. Unsere empirischen Ergebnisse zeigen eine signifikante Verbesserung der Leistung, mit einer Reduzierung der Wortfehlerrate (WER) um 6 %, wenn zusätzlicher Textkontext bereitgestellt wird. Darüber hinaus stellen wir fest, dass unsere Methode wettbewerbsfähig abschneidet und die WER insgesamt um 7,5 % sowie die WER bei seltenen Wörtern um 17 % gegenüber einem baseline-kontextualisierten RNN-T-System verbessert, das auf einem mehr als 25-mal größeren Sprachdatensatz trainiert wurde. Insgesamt zeigen wir, dass wir durch das Hinzufügen einer geringen Anzahl trainierbarer Parameter über Adapter die kontextualisierte Spracherkennungsfähigkeit für das vortrainierte LLM freischalten können, während die gleiche Text-only-Eingabefunktionalität beibehalten wird.

English

In recent years, Large Language Models (LLMs) have garnered significant attention from the research community due to their exceptional performance and generalization capabilities. In this paper, we introduce a novel method for contextualizing speech recognition models incorporating LLMs. Our approach casts speech recognition as a mixed-modal language modeling task based on a pretrained LLM. We provide audio features, along with optional text tokens for context, to train the system to complete transcriptions in a decoder-only fashion. As a result, the system is implicitly incentivized to learn how to leverage unstructured contextual information during training. Our empirical results demonstrate a significant improvement in performance, with a 6% WER reduction when additional textual context is provided. Moreover, we find that our method performs competitively and improve by 7.5% WER overall and 17% WER on rare words against a baseline contextualized RNN-T system that has been trained on more than twenty five times larger speech dataset. Overall, we demonstrate that by only adding a handful number of trainable parameters via adapters, we can unlock contextualized speech recognition capability for the pretrained LLM while keeping the same text-only input functionality.

End-to-End-Spracherkennungskontextualisierung mit großen Sprachmodellen

End-to-End Speech Recognition Contextualization with Large Language Models

Zusammenfassung

Support