WavLLM: Naar een robuust en adaptief spraak-groottaalmodel

WavLLM: Towards Robust and Adaptive Speech Large Language Model

March 31, 2024

Auteurs: Shujie Hu, Long Zhou, Shujie Liu, Sanyuan Chen, Hongkun Hao, Jing Pan, Xunying Liu, Jinyu Li, Sunit Sivasankaran, Linquan Liu, Furu Wei

cs.AI

Samenvatting

De recente vooruitgang in grote taalmodellen (LLMs) heeft een revolutie teweeggebracht in het vakgebied van natuurlijke taalverwerking, waarbij hun scope geleidelijk is uitgebreid naar multimodale perceptie en generatie. Het effectief integreren van luistervaardigheden in LLMs brengt echter aanzienlijke uitdagingen met zich mee, met name wat betreft het generaliseren over verschillende contexten en het uitvoeren van complexe auditieve taken. In dit werk introduceren we WavLLM, een robuust en adaptief spraak-groot-taalmodel met dubbele encoders en een prompt-aware LoRA-gewichtadapter, geoptimaliseerd door een tweestaps curriculumleerbenadering. Door gebruik te maken van dubbele encoders ontkoppelen we verschillende soorten spraakinformatie, waarbij een Whisper-encoder wordt gebruikt om de semantische inhoud van spraak te verwerken en een WavLM-encoder om de unieke kenmerken van de sprekersidentiteit vast te leggen. Binnen het curriculumleerkader ontwikkelt WavLLM eerst zijn fundamentele vaardigheden door te optimaliseren op gemengde elementaire enkelvoudige taken, gevolgd door geavanceerde multitasktraining op complexere taken zoals combinaties van de elementaire taken. Om de flexibiliteit en het naleven van verschillende taken en instructies te verbeteren, wordt een prompt-aware LoRA-gewichtadapter geïntroduceerd in de tweede geavanceerde multitasktrainingsfase. We valideren het voorgestelde model op universele spraakbenchmarks, waaronder taken zoals ASR, ST, SV, ER, en passen het ook toe op gespecialiseerde datasets zoals de Gaokao Engels luistervaardigheidsset voor SQA en de spraak Chain-of-Thought (CoT) evaluatieset. Experimenten tonen aan dat het voorgestelde model state-of-the-art prestaties bereikt over een reeks spraaktaken bij dezelfde modelgrootte, waarbij het robuuste generalisatiecapaciteiten vertoont bij het uitvoeren van complexe taken met behulp van de CoT-benadering. Bovendien voltooit ons model met succes Gaokao-taken zonder gespecialiseerde training. De codes, modellen, audio en de Gaokao-evaluatieset zijn toegankelijk op aka.ms/wavllm.

English

The recent advancements in large language models (LLMs) have revolutionized the field of natural language processing, progressively broadening their scope to multimodal perception and generation. However, effectively integrating listening capabilities into LLMs poses significant challenges, particularly with respect to generalizing across varied contexts and executing complex auditory tasks. In this work, we introduce WavLLM, a robust and adaptive speech large language model with dual encoders, and a prompt-aware LoRA weight adapter, optimized by a two-stage curriculum learning approach. Leveraging dual encoders, we decouple different types of speech information, utilizing a Whisper encoder to process the semantic content of speech, and a WavLM encoder to capture the unique characteristics of the speaker's identity. Within the curriculum learning framework, WavLLM first builds its foundational capabilities by optimizing on mixed elementary single tasks, followed by advanced multi-task training on more complex tasks such as combinations of the elementary tasks. To enhance the flexibility and adherence to different tasks and instructions, a prompt-aware LoRA weight adapter is introduced in the second advanced multi-task training stage. We validate the proposed model on universal speech benchmarks including tasks such as ASR, ST, SV, ER, and also apply it to specialized datasets like Gaokao English listening comprehension set for SQA, and speech Chain-of-Thought (CoT) evaluation set. Experiments demonstrate that the proposed model achieves state-of-the-art performance across a range of speech tasks on the same model size, exhibiting robust generalization capabilities in executing complex tasks using CoT approach. Furthermore, our model successfully completes Gaokao tasks without specialized training. The codes, models, audio, and Gaokao evaluation set can be accessed at aka.ms/wavllm.