Qwen-Audio: Avançando na Compreensão Universal de Áudio por meio de Modelos Unificados em Grande Escala de Áudio e Linguagem

Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models

November 14, 2023

Autores: Yunfei Chu, Jin Xu, Xiaohuan Zhou, Qian Yang, Shiliang Zhang, Zhijie Yan, Chang Zhou, Jingren Zhou

cs.AI

Resumo

Recentemente, modelos de áudio-linguagem que seguem instruções têm recebido ampla atenção para interação de áudio com humanos. No entanto, a ausência de modelos de áudio pré-treinados capazes de lidar com diversos tipos de áudio e tarefas tem dificultado o progresso nesse campo. Consequentemente, a maioria dos trabalhos existentes só conseguiu suportar um conjunto limitado de capacidades de interação. Neste artigo, desenvolvemos o modelo Qwen-Audio e abordamos essa limitação ao escalonar o pré-treinamento de áudio-linguagem para cobrir mais de 30 tarefas e vários tipos de áudio, como fala humana, sons naturais, música e canções, para facilitar habilidades universais de compreensão de áudio. No entanto, o co-treinamento direto de todas as tarefas e conjuntos de dados pode levar a problemas de interferência, pois os rótulos textuais associados a diferentes conjuntos de dados exibem variações consideráveis devido a diferenças no foco da tarefa, idioma, granularidade da anotação e estrutura do texto. Para superar a interferência de um-para-muitos, projetamos cuidadosamente uma estrutura de treinamento multitarefa, condicionando uma sequência de tags hierárquicas ao decodificador para incentivar o compartilhamento de conhecimento e evitar interferências por meio de tags compartilhadas e especificadas, respectivamente. Notavelmente, o Qwen-Audio alcança desempenho impressionante em diversas tarefas de benchmark sem exigir ajuste fino específico para cada tarefa, superando seus concorrentes. Com base nas capacidades do Qwen-Audio, desenvolvemos ainda o Qwen-Audio-Chat, que permite a entrada de vários áudios e textos, possibilitando diálogos de múltiplas voltas e suportando diversos cenários centrados em áudio.

English

Recently, instruction-following audio-language models have received broad attention for audio interaction with humans. However, the absence of pre-trained audio models capable of handling diverse audio types and tasks has hindered progress in this field. Consequently, most existing works have only been able to support a limited range of interaction capabilities. In this paper, we develop the Qwen-Audio model and address this limitation by scaling up audio-language pre-training to cover over 30 tasks and various audio types, such as human speech, natural sounds, music, and songs, to facilitate universal audio understanding abilities. However, directly co-training all tasks and datasets can lead to interference issues, as the textual labels associated with different datasets exhibit considerable variations due to differences in task focus, language, granularity of annotation, and text structure. To overcome the one-to-many interference, we carefully design a multi-task training framework by conditioning on a sequence of hierarchical tags to the decoder for encouraging knowledge sharing and avoiding interference through shared and specified tags respectively. Remarkably, Qwen-Audio achieves impressive performance across diverse benchmark tasks without requiring any task-specific fine-tuning, surpassing its counterparts. Building upon the capabilities of Qwen-Audio, we further develop Qwen-Audio-Chat, which allows for input from various audios and text inputs, enabling multi-turn dialogues and supporting various audio-central scenarios.