Qwen-Audio: Avanzando en la Comprensión Universal de Audio mediante Modelos Unificados a Gran Escala de Audio y Lenguaje

Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models

November 14, 2023

Autores: Yunfei Chu, Jin Xu, Xiaohuan Zhou, Qian Yang, Shiliang Zhang, Zhijie Yan, Chang Zhou, Jingren Zhou

cs.AI

Resumen

Recientemente, los modelos de audio-lenguaje que siguen instrucciones han recibido una amplia atención por su interacción auditiva con humanos. Sin embargo, la ausencia de modelos de audio preentrenados capaces de manejar diversos tipos de audio y tareas ha obstaculizado el progreso en este campo. En consecuencia, la mayoría de los trabajos existentes solo han podido ofrecer un rango limitado de capacidades de interacción. En este artículo, desarrollamos el modelo Qwen-Audio y abordamos esta limitación escalando el preentrenamiento de audio-lenguaje para cubrir más de 30 tareas y diversos tipos de audio, como el habla humana, sonidos naturales, música y canciones, con el fin de facilitar habilidades universales de comprensión auditiva. Sin embargo, el entrenamiento conjunto directo de todas las tareas y conjuntos de datos puede generar problemas de interferencia, ya que las etiquetas textuales asociadas con diferentes conjuntos de datos presentan variaciones considerables debido a diferencias en el enfoque de la tarea, el idioma, la granularidad de la anotación y la estructura del texto. Para superar la interferencia de uno a muchos, diseñamos cuidadosamente un marco de entrenamiento multitarea condicionando una secuencia de etiquetas jerárquicas al decodificador, fomentando el intercambio de conocimientos y evitando la interferencia mediante etiquetas compartidas y específicas, respectivamente. Notablemente, Qwen-Audio logra un rendimiento impresionante en diversas tareas de referencia sin requerir ajustes específicos para cada tarea, superando a sus contrapartes. Basándonos en las capacidades de Qwen-Audio, desarrollamos además Qwen-Audio-Chat, que permite la entrada de diversos audios y textos, habilitando diálogos de múltiples turnos y apoyando diversos escenarios centrados en audio.

English

Recently, instruction-following audio-language models have received broad attention for audio interaction with humans. However, the absence of pre-trained audio models capable of handling diverse audio types and tasks has hindered progress in this field. Consequently, most existing works have only been able to support a limited range of interaction capabilities. In this paper, we develop the Qwen-Audio model and address this limitation by scaling up audio-language pre-training to cover over 30 tasks and various audio types, such as human speech, natural sounds, music, and songs, to facilitate universal audio understanding abilities. However, directly co-training all tasks and datasets can lead to interference issues, as the textual labels associated with different datasets exhibit considerable variations due to differences in task focus, language, granularity of annotation, and text structure. To overcome the one-to-many interference, we carefully design a multi-task training framework by conditioning on a sequence of hierarchical tags to the decoder for encouraging knowledge sharing and avoiding interference through shared and specified tags respectively. Remarkably, Qwen-Audio achieves impressive performance across diverse benchmark tasks without requiring any task-specific fine-tuning, surpassing its counterparts. Building upon the capabilities of Qwen-Audio, we further develop Qwen-Audio-Chat, which allows for input from various audios and text inputs, enabling multi-turn dialogues and supporting various audio-central scenarios.