WavLLM: Rumo a um Modelo de Linguagem Grande de Fala Robusto e Adaptativo

WavLLM: Towards Robust and Adaptive Speech Large Language Model

March 31, 2024

Autores: Shujie Hu, Long Zhou, Shujie Liu, Sanyuan Chen, Hongkun Hao, Jing Pan, Xunying Liu, Jinyu Li, Sunit Sivasankaran, Linquan Liu, Furu Wei

cs.AI

Resumo

Os recentes avanços em modelos de linguagem de grande escala (LLMs) revolucionaram o campo do processamento de linguagem natural, ampliando progressivamente seu escopo para percepção e geração multimodal. No entanto, integrar efetivamente capacidades de escuta em LLMs apresenta desafios significativos, particularmente no que diz respeito à generalização em contextos variados e à execução de tarefas auditivas complexas. Neste trabalho, apresentamos o WavLLM, um modelo robusto e adaptável de linguagem de grande escala para fala com codificadores duplos e um adaptador de pesos LoRA consciente de prompts, otimizado por uma abordagem de aprendizado curricular em duas etapas. Aproveitando os codificadores duplos, desacoplamos diferentes tipos de informações de fala, utilizando um codificador Whisper para processar o conteúdo semântico da fala e um codificador WavLM para capturar as características únicas da identidade do falante. Dentro do framework de aprendizado curricular, o WavLLM primeiro constrói suas capacidades fundamentais otimizando em tarefas elementares únicas mistas, seguido por treinamento avançado em múltiplas tarefas mais complexas, como combinações das tarefas elementares. Para aumentar a flexibilidade e aderência a diferentes tarefas e instruções, um adaptador de pesos LoRA consciente de prompts é introduzido na segunda etapa avançada de treinamento em múltiplas tarefas. Validamos o modelo proposto em benchmarks universais de fala, incluindo tarefas como ASR, ST, SV, ER, e também o aplicamos a conjuntos de dados especializados, como o conjunto de compreensão auditiva de inglês do Gaokao para SQA e o conjunto de avaliação de Chain-of-Thought (CoT) em fala. Os experimentos demonstram que o modelo proposto alcança desempenho de ponta em uma variedade de tarefas de fala com o mesmo tamanho de modelo, exibindo capacidades robustas de generalização na execução de tarefas complexas usando a abordagem CoT. Além disso, nosso modelo completa com sucesso tarefas do Gaokao sem treinamento especializado. Os códigos, modelos, áudios e o conjunto de avaliação do Gaokao podem ser acessados em aka.ms/wavllm.

English

The recent advancements in large language models (LLMs) have revolutionized the field of natural language processing, progressively broadening their scope to multimodal perception and generation. However, effectively integrating listening capabilities into LLMs poses significant challenges, particularly with respect to generalizing across varied contexts and executing complex auditory tasks. In this work, we introduce WavLLM, a robust and adaptive speech large language model with dual encoders, and a prompt-aware LoRA weight adapter, optimized by a two-stage curriculum learning approach. Leveraging dual encoders, we decouple different types of speech information, utilizing a Whisper encoder to process the semantic content of speech, and a WavLM encoder to capture the unique characteristics of the speaker's identity. Within the curriculum learning framework, WavLLM first builds its foundational capabilities by optimizing on mixed elementary single tasks, followed by advanced multi-task training on more complex tasks such as combinations of the elementary tasks. To enhance the flexibility and adherence to different tasks and instructions, a prompt-aware LoRA weight adapter is introduced in the second advanced multi-task training stage. We validate the proposed model on universal speech benchmarks including tasks such as ASR, ST, SV, ER, and also apply it to specialized datasets like Gaokao English listening comprehension set for SQA, and speech Chain-of-Thought (CoT) evaluation set. Experiments demonstrate that the proposed model achieves state-of-the-art performance across a range of speech tasks on the same model size, exhibiting robust generalization capabilities in executing complex tasks using CoT approach. Furthermore, our model successfully completes Gaokao tasks without specialized training. The codes, models, audio, and Gaokao evaluation set can be accessed at aka.ms/wavllm.