Étude des modèles de langage massifs à décodeur unique pour la traduction parole-texte

Investigating Decoder-only Large Language Models for Speech-to-text Translation

July 3, 2024

Auteurs: Chao-Wei Huang, Hui Lu, Hongyu Gong, Hirofumi Inaguma, Ilia Kulikov, Ruslan Mavlyutov, Sravya Popuri

cs.AI

Résumé

Les grands modèles de langage (LLMs), reconnus pour leurs exceptionnelles capacités de raisonnement, leur généralisabilité et leur fluidité dans divers domaines, représentent une voie prometteuse pour améliorer les tâches liées à la parole. Dans cet article, nous nous concentrons sur l'intégration de LLMs de type décodeur uniquement à la tâche de traduction parole-texte (S2TT). Nous proposons une architecture de type décodeur uniquement qui permet au LLM de consommer directement la représentation encodée de la parole et de générer la traduction textuelle. De plus, nous étudions les effets de différentes techniques de fine-tuning paramétriquement efficaces et de formulation de la tâche. Notre modèle atteint des performances de pointe sur CoVoST 2 et FLEURS parmi les modèles entraînés sans données propriétaires. Nous menons également des analyses pour valider les choix de conception de notre modèle proposé et apporter des insights sur l'intégration des LLMs à la S2TT.

English

Large language models (LLMs), known for their exceptional reasoning capabilities, generalizability, and fluency across diverse domains, present a promising avenue for enhancing speech-related tasks. In this paper, we focus on integrating decoder-only LLMs to the task of speech-to-text translation (S2TT). We propose a decoder-only architecture that enables the LLM to directly consume the encoded speech representation and generate the text translation. Additionally, we investigate the effects of different parameter-efficient fine-tuning techniques and task formulation. Our model achieves state-of-the-art performance on CoVoST 2 and FLEURS among models trained without proprietary data. We also conduct analyses to validate the design choices of our proposed model and bring insights to the integration of LLMs to S2TT.