Qwen-Audio: Progresso nella comprensione universale dell'audio attraverso modelli unificati su larga scala audio-linguistici

Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models

November 14, 2023

Autori: Yunfei Chu, Jin Xu, Xiaohuan Zhou, Qian Yang, Shiliang Zhang, Zhijie Yan, Chang Zhou, Jingren Zhou

cs.AI

Abstract

Recentemente, i modelli audio-linguistici che seguono istruzioni hanno ricevuto ampia attenzione per l'interazione audio con gli esseri umani. Tuttavia, l'assenza di modelli audio pre-addestrati in grado di gestire diversi tipi di audio e compiti ha ostacolato i progressi in questo campo. Di conseguenza, la maggior parte dei lavori esistenti è stata in grado di supportare solo un limitato range di capacità di interazione. In questo articolo, sviluppiamo il modello Qwen-Audio e affrontiamo questa limitazione ampliando il pre-addestramento audio-linguistico per coprire oltre 30 compiti e vari tipi di audio, come il parlato umano, suoni naturali, musica e canzoni, per facilitare capacità universali di comprensione audio. Tuttavia, l'addestramento congiunto diretto di tutti i compiti e dataset può portare a problemi di interferenza, poiché le etichette testuali associate a diversi dataset presentano variazioni considerevoli a causa di differenze nel focus del compito, nella lingua, nella granularità dell'annotazione e nella struttura del testo. Per superare l'interferenza uno-a-molti, progettiamo attentamente un framework di addestramento multi-task condizionando il decoder su una sequenza di tag gerarchici per incoraggiare la condivisione della conoscenza e evitare interferenze attraverso tag condivisi e specifici rispettivamente. Notevolmente, Qwen-Audio raggiunge prestazioni impressionanti in diversi compiti benchmark senza richiedere alcuna messa a punto specifica per il compito, superando i suoi omologhi. Basandoci sulle capacità di Qwen-Audio, sviluppiamo ulteriormente Qwen-Audio-Chat, che consente l'input da vari audio e input testuali, abilitando dialoghi multi-turn e supportando vari scenari centrati sull'audio.

English

Recently, instruction-following audio-language models have received broad attention for audio interaction with humans. However, the absence of pre-trained audio models capable of handling diverse audio types and tasks has hindered progress in this field. Consequently, most existing works have only been able to support a limited range of interaction capabilities. In this paper, we develop the Qwen-Audio model and address this limitation by scaling up audio-language pre-training to cover over 30 tasks and various audio types, such as human speech, natural sounds, music, and songs, to facilitate universal audio understanding abilities. However, directly co-training all tasks and datasets can lead to interference issues, as the textual labels associated with different datasets exhibit considerable variations due to differences in task focus, language, granularity of annotation, and text structure. To overcome the one-to-many interference, we carefully design a multi-task training framework by conditioning on a sequence of hierarchical tags to the decoder for encouraging knowledge sharing and avoiding interference through shared and specified tags respectively. Remarkably, Qwen-Audio achieves impressive performance across diverse benchmark tasks without requiring any task-specific fine-tuning, surpassing its counterparts. Building upon the capabilities of Qwen-Audio, we further develop Qwen-Audio-Chat, which allows for input from various audios and text inputs, enabling multi-turn dialogues and supporting various audio-central scenarios.