Qwen-Audio: Fortschritt im universellen Audioverständnis durch vereinheitlichte großskalige Audio-Sprach-Modelle

Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models

November 14, 2023

Autoren: Yunfei Chu, Jin Xu, Xiaohuan Zhou, Qian Yang, Shiliang Zhang, Zhijie Yan, Chang Zhou, Jingren Zhou

cs.AI

Zusammenfassung

Kürzlich haben instruktionsfolgende Audio-Sprachmodelle für die Audio-Interaktion mit Menschen breite Aufmerksamkeit erhalten. Das Fehlen von vortrainierten Audiomodellen, die in der Lage sind, verschiedene Audiotypen und Aufgaben zu bewältigen, hat jedoch den Fortschritt in diesem Bereich behindert. Infolgedessen konnten die meisten bestehenden Arbeiten nur eine begrenzte Palette von Interaktionsfähigkeiten unterstützen. In diesem Artikel entwickeln wir das Qwen-Audio-Modell und adressieren diese Einschränkung, indem wir das Audio-Sprach-Vortraining auf über 30 Aufgaben und verschiedene Audiotypen wie menschliche Sprache, natürliche Klänge, Musik und Gesang ausweiten, um universelle Audio-Verständnisfähigkeiten zu ermöglichen. Die direkte gemeinsame Trainierung aller Aufgaben und Datensätze kann jedoch zu Interferenzproblemen führen, da die textuellen Beschriftungen, die mit verschiedenen Datensätzen verbunden sind, aufgrund von Unterschieden in der Aufgabenausrichtung, Sprache, Granularität der Annotation und Textstruktur erhebliche Variationen aufweisen. Um die Eins-zu-Viele-Interferenz zu überwinden, entwerfen wir sorgfältig ein Multi-Task-Trainingsframework, indem wir eine Sequenz hierarchischer Tags an den Decoder anpassen, um Wissensaustausch zu fördern und Interferenzen durch gemeinsame und spezifizierte Tags zu vermeiden. Bemerkenswerterweise erzielt Qwen-Audio beeindruckende Leistungen über diverse Benchmark-Aufgaben hinweg, ohne dass eine aufgabenspezifische Feinabstimmung erforderlich ist, und übertrifft dabei seine Gegenstücke. Aufbauend auf den Fähigkeiten von Qwen-Audio entwickeln wir weiterhin Qwen-Audio-Chat, das Eingaben aus verschiedenen Audios und Texten ermöglicht, Mehrrunden-Dialoge unterstützt und verschiedene audiozentrierte Szenarien ermöglicht.

English

Recently, instruction-following audio-language models have received broad attention for audio interaction with humans. However, the absence of pre-trained audio models capable of handling diverse audio types and tasks has hindered progress in this field. Consequently, most existing works have only been able to support a limited range of interaction capabilities. In this paper, we develop the Qwen-Audio model and address this limitation by scaling up audio-language pre-training to cover over 30 tasks and various audio types, such as human speech, natural sounds, music, and songs, to facilitate universal audio understanding abilities. However, directly co-training all tasks and datasets can lead to interference issues, as the textual labels associated with different datasets exhibit considerable variations due to differences in task focus, language, granularity of annotation, and text structure. To overcome the one-to-many interference, we carefully design a multi-task training framework by conditioning on a sequence of hierarchical tags to the decoder for encouraging knowledge sharing and avoiding interference through shared and specified tags respectively. Remarkably, Qwen-Audio achieves impressive performance across diverse benchmark tasks without requiring any task-specific fine-tuning, surpassing its counterparts. Building upon the capabilities of Qwen-Audio, we further develop Qwen-Audio-Chat, which allows for input from various audios and text inputs, enabling multi-turn dialogues and supporting various audio-central scenarios.