WavLLM: Hacia un Modelo de Lenguaje Grande de Habla Robusto y Adaptativo

WavLLM: Towards Robust and Adaptive Speech Large Language Model

March 31, 2024

Autores: Shujie Hu, Long Zhou, Shujie Liu, Sanyuan Chen, Hongkun Hao, Jing Pan, Xunying Liu, Jinyu Li, Sunit Sivasankaran, Linquan Liu, Furu Wei

cs.AI

Resumen

Los recientes avances en los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han revolucionado el campo del procesamiento del lenguaje natural, ampliando progresivamente su alcance hacia la percepción y generación multimodal. Sin embargo, integrar de manera efectiva capacidades de escucha en los LLMs presenta desafíos significativos, particularmente en lo que respecta a la generalización en diversos contextos y la ejecución de tareas auditivas complejas. En este trabajo, presentamos WavLLM, un modelo de lenguaje de gran escala robusto y adaptable para el habla, con codificadores duales y un adaptador de pesos LoRA consciente de las instrucciones, optimizado mediante un enfoque de aprendizaje curricular en dos etapas. Aprovechando los codificadores duales, desacoplamos diferentes tipos de información del habla, utilizando un codificador Whisper para procesar el contenido semántico del habla y un codificador WavLM para capturar las características únicas de la identidad del hablante. Dentro del marco de aprendizaje curricular, WavLLM primero construye sus capacidades fundamentales optimizando en tareas elementales individuales mixtas, seguido de un entrenamiento avanzado multitarea en tareas más complejas, como combinaciones de las tareas elementales. Para mejorar la flexibilidad y la adherencia a diferentes tareas e instrucciones, se introduce un adaptador de pesos LoRA consciente de las instrucciones en la segunda etapa avanzada de entrenamiento multitarea. Validamos el modelo propuesto en puntos de referencia universales del habla, incluyendo tareas como ASR, ST, SV, ER, y también lo aplicamos a conjuntos de datos especializados como el conjunto de comprensión auditiva de inglés del Gaokao para SQA, y el conjunto de evaluación de Cadena de Pensamiento (CoT) en el habla. Los experimentos demuestran que el modelo propuesto alcanza un rendimiento de vanguardia en una variedad de tareas de habla con el mismo tamaño de modelo, exhibiendo capacidades robustas de generalización en la ejecución de tareas complejas utilizando el enfoque CoT. Además, nuestro modelo completa con éxito las tareas del Gaokao sin entrenamiento especializado. Los códigos, modelos, audios y el conjunto de evaluación del Gaokao pueden ser accedidos en aka.ms/wavllm.

English

The recent advancements in large language models (LLMs) have revolutionized the field of natural language processing, progressively broadening their scope to multimodal perception and generation. However, effectively integrating listening capabilities into LLMs poses significant challenges, particularly with respect to generalizing across varied contexts and executing complex auditory tasks. In this work, we introduce WavLLM, a robust and adaptive speech large language model with dual encoders, and a prompt-aware LoRA weight adapter, optimized by a two-stage curriculum learning approach. Leveraging dual encoders, we decouple different types of speech information, utilizing a Whisper encoder to process the semantic content of speech, and a WavLM encoder to capture the unique characteristics of the speaker's identity. Within the curriculum learning framework, WavLLM first builds its foundational capabilities by optimizing on mixed elementary single tasks, followed by advanced multi-task training on more complex tasks such as combinations of the elementary tasks. To enhance the flexibility and adherence to different tasks and instructions, a prompt-aware LoRA weight adapter is introduced in the second advanced multi-task training stage. We validate the proposed model on universal speech benchmarks including tasks such as ASR, ST, SV, ER, and also apply it to specialized datasets like Gaokao English listening comprehension set for SQA, and speech Chain-of-Thought (CoT) evaluation set. Experiments demonstrate that the proposed model achieves state-of-the-art performance across a range of speech tasks on the same model size, exhibiting robust generalization capabilities in executing complex tasks using CoT approach. Furthermore, our model successfully completes Gaokao tasks without specialized training. The codes, models, audio, and Gaokao evaluation set can be accessed at aka.ms/wavllm.