WavLLM: Auf dem Weg zu einem robusten und anpassungsfähigen Sprach-LLM

WavLLM: Towards Robust and Adaptive Speech Large Language Model

March 31, 2024

Autoren: Shujie Hu, Long Zhou, Shujie Liu, Sanyuan Chen, Hongkun Hao, Jing Pan, Xunying Liu, Jinyu Li, Sunit Sivasankaran, Linquan Liu, Furu Wei

cs.AI

Zusammenfassung

Die jüngsten Fortschritte bei großen Sprachmodellen (LLMs) haben das Gebiet der natürlichen Sprachverarbeitung revolutioniert, indem ihr Anwendungsbereich allmählich auf multimodale Wahrnehmung und Generierung erweitert wurde. Die effektive Integration von Hörfähigkeiten in LLMs stellt jedoch bedeutende Herausforderungen dar, insbesondere hinsichtlich der Verallgemeinerung über verschiedene Kontexte hinweg und der Ausführung komplexer auditiver Aufgaben. In dieser Arbeit stellen wir WavLLM vor, ein robustes und anpassungsfähiges Sprach-Sprachmodell mit doppelten Encodern und einem promptbewussten LoRA-Gewichtsadapter, der durch einen zweistufigen Curriculum-Learning-Ansatz optimiert wurde. Durch die Nutzung von doppelten Encodern entkoppeln wir verschiedene Arten von Sprachinformationen, indem wir einen Whisper-Encoder zur Verarbeitung des semantischen Inhalts der Sprache und einen WavLM-Encoder zur Erfassung der einzigartigen Merkmale der Sprecheridentität einsetzen. Im Rahmen des Curriculum-Learning baut WavLLM zunächst seine grundlegenden Fähigkeiten auf, indem es sich auf gemischte elementare Einzelaufgaben optimiert, gefolgt von einem fortgeschrittenen Multi-Task-Training für komplexere Aufgaben wie Kombinationen der elementaren Aufgaben. Zur Verbesserung der Flexibilität und Einhaltung verschiedener Aufgaben und Anweisungen wird in der zweiten fortgeschrittenen Multi-Task-Trainingsphase ein promptbewusster LoRA-Gewichtsadapter eingeführt. Wir validieren das vorgeschlagene Modell an universellen Sprachbenchmarks, einschließlich Aufgaben wie ASR, ST, SV, ER, und wenden es auch auf spezialisierte Datensätze wie das Gaokao-Englisch-Hörverständnis-Set für SQA sowie das Sprachketten-Denken (CoT)-Evaluierungsset an. Experimente zeigen, dass das vorgeschlagene Modell eine Spitzenleistung bei einer Reihe von Sprachaufgaben bei gleicher Modellgröße erreicht und robuste Verallgemeinerungsfähigkeiten bei der Ausführung komplexer Aufgaben mit dem CoT-Ansatz aufweist. Darüber hinaus erledigt unser Modell erfolgreich Gaokao-Aufgaben ohne spezielles Training. Die Codes, Modelle, Audio- und Gaokao-Evaluierungsset sind unter aka.ms/wavllm verfügbar.

English

The recent advancements in large language models (LLMs) have revolutionized the field of natural language processing, progressively broadening their scope to multimodal perception and generation. However, effectively integrating listening capabilities into LLMs poses significant challenges, particularly with respect to generalizing across varied contexts and executing complex auditory tasks. In this work, we introduce WavLLM, a robust and adaptive speech large language model with dual encoders, and a prompt-aware LoRA weight adapter, optimized by a two-stage curriculum learning approach. Leveraging dual encoders, we decouple different types of speech information, utilizing a Whisper encoder to process the semantic content of speech, and a WavLM encoder to capture the unique characteristics of the speaker's identity. Within the curriculum learning framework, WavLLM first builds its foundational capabilities by optimizing on mixed elementary single tasks, followed by advanced multi-task training on more complex tasks such as combinations of the elementary tasks. To enhance the flexibility and adherence to different tasks and instructions, a prompt-aware LoRA weight adapter is introduced in the second advanced multi-task training stage. We validate the proposed model on universal speech benchmarks including tasks such as ASR, ST, SV, ER, and also apply it to specialized datasets like Gaokao English listening comprehension set for SQA, and speech Chain-of-Thought (CoT) evaluation set. Experiments demonstrate that the proposed model achieves state-of-the-art performance across a range of speech tasks on the same model size, exhibiting robust generalization capabilities in executing complex tasks using CoT approach. Furthermore, our model successfully completes Gaokao tasks without specialized training. The codes, models, audio, and Gaokao evaluation set can be accessed at aka.ms/wavllm.