Qwen-Audio : Faire progresser la compréhension universelle de l'audio grâce à des modèles unifiés à grande échelle audio-langage

Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models

November 14, 2023

Auteurs: Yunfei Chu, Jin Xu, Xiaohuan Zhou, Qian Yang, Shiliang Zhang, Zhijie Yan, Chang Zhou, Jingren Zhou

cs.AI

Résumé

Récemment, les modèles audio-langage capables de suivre des instructions ont suscité un intérêt considérable pour l'interaction audio avec les humains. Cependant, l'absence de modèles audio pré-entraînés capables de gérer divers types d'audio et tâches a freiné les progrès dans ce domaine. Par conséquent, la plupart des travaux existants n'ont pu supporter qu'un éventail limité de capacités d'interaction. Dans cet article, nous développons le modèle Qwen-Audio et surmontons cette limitation en élargissant le pré-entraînement audio-langage pour couvrir plus de 30 tâches et divers types d'audio, tels que la parole humaine, les sons naturels, la musique et les chansons, afin de faciliter des capacités universelles de compréhension audio. Cependant, un co-entraînement direct de toutes les tâches et jeux de données peut entraîner des problèmes d'interférence, car les étiquettes textuelles associées à différents jeux de données présentent des variations considérables dues aux différences de focus des tâches, de langues, de granularité d'annotation et de structure de texte. Pour surmonter l'interférence de type un-à-plusieurs, nous concevons soigneusement un cadre d'entraînement multi-tâches en conditionnant sur une séquence d'étiquettes hiérarchiques pour le décodeur, encourageant ainsi le partage des connaissances et évitant les interférences grâce à des étiquettes partagées et spécifiques respectivement. De manière remarquable, Qwen-Audio obtient des performances impressionnantes sur diverses tâches de référence sans nécessiter de réglage spécifique à la tâche, surpassant ses homologues. En nous appuyant sur les capacités de Qwen-Audio, nous développons en outre Qwen-Audio-Chat, qui permet des entrées à partir de divers audios et textes, permettant des dialogues multi-tours et supportant divers scénarios centrés sur l'audio.

English

Recently, instruction-following audio-language models have received broad attention for audio interaction with humans. However, the absence of pre-trained audio models capable of handling diverse audio types and tasks has hindered progress in this field. Consequently, most existing works have only been able to support a limited range of interaction capabilities. In this paper, we develop the Qwen-Audio model and address this limitation by scaling up audio-language pre-training to cover over 30 tasks and various audio types, such as human speech, natural sounds, music, and songs, to facilitate universal audio understanding abilities. However, directly co-training all tasks and datasets can lead to interference issues, as the textual labels associated with different datasets exhibit considerable variations due to differences in task focus, language, granularity of annotation, and text structure. To overcome the one-to-many interference, we carefully design a multi-task training framework by conditioning on a sequence of hierarchical tags to the decoder for encouraging knowledge sharing and avoiding interference through shared and specified tags respectively. Remarkably, Qwen-Audio achieves impressive performance across diverse benchmark tasks without requiring any task-specific fine-tuning, surpassing its counterparts. Building upon the capabilities of Qwen-Audio, we further develop Qwen-Audio-Chat, which allows for input from various audios and text inputs, enabling multi-turn dialogues and supporting various audio-central scenarios.