WavLLM: К Робастной и Адаптивной Большой Языковой Модели Речи

WavLLM: Towards Robust and Adaptive Speech Large Language Model

March 31, 2024

Авторы: Shujie Hu, Long Zhou, Shujie Liu, Sanyuan Chen, Hongkun Hao, Jing Pan, Xunying Liu, Jinyu Li, Sunit Sivasankaran, Linquan Liu, Furu Wei

cs.AI

Аннотация

Недавние достижения в области больших языковых моделей (LLM) революционизировали область обработки естественного языка, постепенно расширяя свой спектр до мультимодального восприятия и генерации. Однако эффективное интегрирование возможностей прослушивания в LLM представляет существенные вызовы, особенно в отношении обобщения в различных контекстах и выполнения сложных слуховых задач. В данной работе мы представляем WavLLM, надежную и адаптивную речевую большую языковую модель с двойными кодировщиками и адаптером весов LoRA, осведомленным о запросе, оптимизированным двухэтапным подходом к обучению по учебному плану. Используя двойные кодировщики, мы разделяем различные типы речевой информации, используя кодировщик Whisper для обработки семантического содержания речи и кодировщик WavLM для захвата уникальных характеристик личности говорящего. В рамках учебного плана WavLLM сначала развивает свои базовые возможности, оптимизируясь на смешанных элементарных однозадачных задачах, а затем проходит продвинутое многозадачное обучение на более сложных задачах, таких как комбинации элементарных задач. Для улучшения гибкости и соблюдения различных задач и инструкций на втором этапе продвинутого многозадачного обучения вводится адаптер весов LoRA, осведомленный о запросе. Мы проверяем предложенную модель на универсальных речевых бенчмарках, включая задачи, такие как ASR, ST, SV, ER, а также применяем ее к специализированным наборам данных, таким как Gaokao English для понимания на слух для SQA и набор для оценки речевой цепочки мыслей (CoT). Эксперименты показывают, что предложенная модель достигает передовых результатов в широком спектре речевых задач одного размера модели, проявляя устойчивые возможности обобщения при выполнении сложных задач с использованием подхода CoT. Более того, наша модель успешно выполняет задачи Gaokao без специализированного обучения. Коды, модели, аудио и набор оценки Gaokao можно получить на aka.ms/wavllm.

English

The recent advancements in large language models (LLMs) have revolutionized the field of natural language processing, progressively broadening their scope to multimodal perception and generation. However, effectively integrating listening capabilities into LLMs poses significant challenges, particularly with respect to generalizing across varied contexts and executing complex auditory tasks. In this work, we introduce WavLLM, a robust and adaptive speech large language model with dual encoders, and a prompt-aware LoRA weight adapter, optimized by a two-stage curriculum learning approach. Leveraging dual encoders, we decouple different types of speech information, utilizing a Whisper encoder to process the semantic content of speech, and a WavLM encoder to capture the unique characteristics of the speaker's identity. Within the curriculum learning framework, WavLLM first builds its foundational capabilities by optimizing on mixed elementary single tasks, followed by advanced multi-task training on more complex tasks such as combinations of the elementary tasks. To enhance the flexibility and adherence to different tasks and instructions, a prompt-aware LoRA weight adapter is introduced in the second advanced multi-task training stage. We validate the proposed model on universal speech benchmarks including tasks such as ASR, ST, SV, ER, and also apply it to specialized datasets like Gaokao English listening comprehension set for SQA, and speech Chain-of-Thought (CoT) evaluation set. Experiments demonstrate that the proposed model achieves state-of-the-art performance across a range of speech tasks on the same model size, exhibiting robust generalization capabilities in executing complex tasks using CoT approach. Furthermore, our model successfully completes Gaokao tasks without specialized training. The codes, models, audio, and Gaokao evaluation set can be accessed at aka.ms/wavllm.