Qwen-Audio: Развитие универсального понимания аудио через единые крупномасштабные аудио-языковые модели

Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models

November 14, 2023

Авторы: Yunfei Chu, Jin Xu, Xiaohuan Zhou, Qian Yang, Shiliang Zhang, Zhijie Yan, Chang Zhou, Jingren Zhou

cs.AI

Аннотация

В последнее время модели обработки аудио, способные следовать инструкциям, привлекли широкое внимание благодаря их возможностям взаимодействия с человеком через аудио. Однако отсутствие предварительно обученных аудио-моделей, способных обрабатывать разнообразные типы аудио и задачи, сдерживало прогресс в этой области. В результате большинство существующих работ поддерживают лишь ограниченный набор возможностей взаимодействия. В данной статье мы представляем модель Qwen-Audio, преодолевая это ограничение путем масштабирования предварительного обучения на аудио и текстовых данных для охвата более 30 задач и различных типов аудио, таких как человеческая речь, природные звуки, музыка и песни, что способствует развитию универсальных способностей понимания аудио. Однако прямое совместное обучение на всех задачах и наборах данных может привести к проблемам интерференции, поскольку текстовые метки, связанные с разными наборами данных, значительно различаются из-за различий в фокусе задач, языке, детализации аннотаций и структуре текста. Чтобы преодолеть проблему интерференции "один ко многим", мы тщательно разработали многоцелевую структуру обучения, используя последовательность иерархических тегов для декодера, что способствует обмену знаниями и предотвращает интерференцию через общие и специфичные теги соответственно. Примечательно, что Qwen-Audio демонстрирует впечатляющие результаты на различных эталонных задачах без необходимости дополнительной настройки под конкретные задачи, превосходя аналогичные модели. На основе возможностей Qwen-Audio мы также разработали Qwen-Audio-Chat, который позволяет обрабатывать различные аудио- и текстовые входные данные, поддерживая многоходовые диалоги и различные сценарии, ориентированные на аудио.

English

Recently, instruction-following audio-language models have received broad attention for audio interaction with humans. However, the absence of pre-trained audio models capable of handling diverse audio types and tasks has hindered progress in this field. Consequently, most existing works have only been able to support a limited range of interaction capabilities. In this paper, we develop the Qwen-Audio model and address this limitation by scaling up audio-language pre-training to cover over 30 tasks and various audio types, such as human speech, natural sounds, music, and songs, to facilitate universal audio understanding abilities. However, directly co-training all tasks and datasets can lead to interference issues, as the textual labels associated with different datasets exhibit considerable variations due to differences in task focus, language, granularity of annotation, and text structure. To overcome the one-to-many interference, we carefully design a multi-task training framework by conditioning on a sequence of hierarchical tags to the decoder for encouraging knowledge sharing and avoiding interference through shared and specified tags respectively. Remarkably, Qwen-Audio achieves impressive performance across diverse benchmark tasks without requiring any task-specific fine-tuning, surpassing its counterparts. Building upon the capabilities of Qwen-Audio, we further develop Qwen-Audio-Chat, which allows for input from various audios and text inputs, enabling multi-turn dialogues and supporting various audio-central scenarios.