WavLLM : Vers un modèle de langage massif robuste et adaptatif pour la parole

WavLLM: Towards Robust and Adaptive Speech Large Language Model

March 31, 2024

Auteurs: Shujie Hu, Long Zhou, Shujie Liu, Sanyuan Chen, Hongkun Hao, Jing Pan, Xunying Liu, Jinyu Li, Sunit Sivasankaran, Linquan Liu, Furu Wei

cs.AI

Résumé

Les récents progrès des grands modèles de langage (LLM) ont révolutionné le domaine du traitement du langage naturel, élargissant progressivement leur portée à la perception et à la génération multimodales. Cependant, l'intégration efficace de capacités d'écoute dans les LLM pose des défis importants, notamment en ce qui concerne la généralisation à travers divers contextes et l'exécution de tâches auditives complexes. Dans ce travail, nous présentons WavLLM, un modèle de langage robuste et adaptatif pour la parole, doté de deux encodeurs et d'un adaptateur de poids LoRA sensible aux prompts, optimisé par une approche d'apprentissage curriculaire en deux étapes. En exploitant les deux encodeurs, nous découplons différents types d'informations vocales, utilisant un encodeur Whisper pour traiter le contenu sémantique de la parole, et un encodeur WavLM pour capturer les caractéristiques uniques de l'identité du locuteur. Dans le cadre de l'apprentissage curriculaire, WavLLM développe d'abord ses capacités fondamentales en s'optimisant sur des tâches élémentaires simples mélangées, puis s'entraîne sur des tâches multitâches plus complexes, telles que des combinaisons des tâches élémentaires. Pour améliorer la flexibilité et l'adhésion à différentes tâches et instructions, un adaptateur de poids LoRA sensible aux prompts est introduit lors de la deuxième étape d'entraînement multitâche avancé. Nous validons le modèle proposé sur des benchmarks universels de la parole, incluant des tâches telles que la reconnaissance automatique de la parole (ASR), la traduction de la parole (ST), la vérification du locuteur (SV), la reconnaissance des émotions (ER), et l'appliquons également à des ensembles de données spécialisés comme le test de compréhension orale en anglais du Gaokao pour l'évaluation des questions-réponses (SQA), et l'ensemble d'évaluation de la chaîne de pensée (CoT) en parole. Les expériences démontrent que le modèle proposé atteint des performances de pointe sur une gamme de tâches vocales pour une taille de modèle donnée, montrant des capacités de généralisation robustes dans l'exécution de tâches complexes en utilisant l'approche CoT. De plus, notre modèle réussit à accomplir les tâches du Gaokao sans entraînement spécialisé. Les codes, modèles, fichiers audio et l'ensemble d'évaluation du Gaokao sont accessibles à l'adresse aka.ms/wavllm.

English

The recent advancements in large language models (LLMs) have revolutionized the field of natural language processing, progressively broadening their scope to multimodal perception and generation. However, effectively integrating listening capabilities into LLMs poses significant challenges, particularly with respect to generalizing across varied contexts and executing complex auditory tasks. In this work, we introduce WavLLM, a robust and adaptive speech large language model with dual encoders, and a prompt-aware LoRA weight adapter, optimized by a two-stage curriculum learning approach. Leveraging dual encoders, we decouple different types of speech information, utilizing a Whisper encoder to process the semantic content of speech, and a WavLM encoder to capture the unique characteristics of the speaker's identity. Within the curriculum learning framework, WavLLM first builds its foundational capabilities by optimizing on mixed elementary single tasks, followed by advanced multi-task training on more complex tasks such as combinations of the elementary tasks. To enhance the flexibility and adherence to different tasks and instructions, a prompt-aware LoRA weight adapter is introduced in the second advanced multi-task training stage. We validate the proposed model on universal speech benchmarks including tasks such as ASR, ST, SV, ER, and also apply it to specialized datasets like Gaokao English listening comprehension set for SQA, and speech Chain-of-Thought (CoT) evaluation set. Experiments demonstrate that the proposed model achieves state-of-the-art performance across a range of speech tasks on the same model size, exhibiting robust generalization capabilities in executing complex tasks using CoT approach. Furthermore, our model successfully completes Gaokao tasks without specialized training. The codes, models, audio, and Gaokao evaluation set can be accessed at aka.ms/wavllm.