Qwen-Audio: Vooruitgang in Universeel Audiobegrip via Grote, Verenigde Audio-Taalmodellen

Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models

November 14, 2023

Auteurs: Yunfei Chu, Jin Xu, Xiaohuan Zhou, Qian Yang, Shiliang Zhang, Zhijie Yan, Chang Zhou, Jingren Zhou

cs.AI

Samenvatting

Onlangs hebben instructievolgende audio-taalmodellen brede aandacht gekregen voor audio-interactie met mensen. Het ontbreken van vooraf getrainde audiomodellen die in staat zijn om diverse audiotypen en taken te verwerken, heeft echter de vooruitgang op dit gebied belemmerd. Als gevolg hiervan hebben de meeste bestaande werken slechts een beperkt scala aan interactiemogelijkheden kunnen ondersteunen. In dit artikel ontwikkelen we het Qwen-Audio-model en pakken we deze beperking aan door de audio-taalvoorpretentie op te schalen om meer dan 30 taken en verschillende audiotypen te omvatten, zoals menselijke spraak, natuurlijke geluiden, muziek en liedjes, om universele audio-begripsvaardigheden te faciliteren. Het direct gezamenlijk trainen van alle taken en datasets kan echter leiden tot interferentieproblemen, aangezien de tekstuele labels die aan verschillende datasets zijn gekoppeld aanzienlijke variaties vertonen vanwege verschillen in taakfocus, taal, annotatiegranulariteit en tekststructuur. Om de één-op-veel-interferentie te overwinnen, ontwerpen we zorgvuldig een multi-task trainingsframework door een reeks hiërarchische tags aan de decoder te koppelen om kennisuitwisseling aan te moedigen en interferentie te vermijden door respectievelijk gedeelde en gespecificeerde tags. Opmerkelijk is dat Qwen-Audio indrukwekkende prestaties behaalt op diverse benchmarktaken zonder dat taakspecifieke fine-tuning vereist is, waardoor het zijn tegenhangers overtreft. Op basis van de mogelijkheden van Qwen-Audio ontwikkelen we verder Qwen-Audio-Chat, dat invoer van verschillende audio's en tekstinvoer mogelijk maakt, waardoor multi-turn dialogen worden gefaciliteerd en verschillende audio-centrale scenario's worden ondersteund.

English

Recently, instruction-following audio-language models have received broad attention for audio interaction with humans. However, the absence of pre-trained audio models capable of handling diverse audio types and tasks has hindered progress in this field. Consequently, most existing works have only been able to support a limited range of interaction capabilities. In this paper, we develop the Qwen-Audio model and address this limitation by scaling up audio-language pre-training to cover over 30 tasks and various audio types, such as human speech, natural sounds, music, and songs, to facilitate universal audio understanding abilities. However, directly co-training all tasks and datasets can lead to interference issues, as the textual labels associated with different datasets exhibit considerable variations due to differences in task focus, language, granularity of annotation, and text structure. To overcome the one-to-many interference, we carefully design a multi-task training framework by conditioning on a sequence of hierarchical tags to the decoder for encouraging knowledge sharing and avoiding interference through shared and specified tags respectively. Remarkably, Qwen-Audio achieves impressive performance across diverse benchmark tasks without requiring any task-specific fine-tuning, surpassing its counterparts. Building upon the capabilities of Qwen-Audio, we further develop Qwen-Audio-Chat, which allows for input from various audios and text inputs, enabling multi-turn dialogues and supporting various audio-central scenarios.