Audio-Omni: Расширение многомодального понимания для универсальной генерации и редактирования аудио
Audio-Omni: Extending Multi-modal Understanding to Versatile Audio Generation and Editing
April 12, 2026
Авторы: Zeyue Tian, Binxin Yang, Zhaoyang Liu, Jiexuan Zhang, Ruibin Yuan, Hubery Yin, Qifeng Chen, Chen Li, Jing Lv, Wei Xue, Yike Guo
cs.AI
Аннотация
Последние достижения в области мультимодальных моделей стимулировали быстрый прогресс в понимании, генерации и редактировании аудио. Однако эти возможности обычно реализуются специализированными моделями, что оставляет разработку по-настоящему унифицированной системы, способной бесшовно интегрировать все три задачи, недостаточно исследованной. Хотя некоторые передовые работы изучали унификацию понимания и генерации аудио, они часто остаются ограниченными конкретными областями. Для решения этой проблемы мы представляем Audio-Omni — первую end-to-end систему, унифицирующую генерацию и редактирование в областях общих звуков, музыки и речи с интегрированными возможностями мультимодального понимания. Наша архитектура объединяет замороженную мультимодальную большую языковую модель для высокоуровневых рассуждений с обучаемым диффузионным трансформером для высококачественного синтеза. Чтобы преодолеть критическую нехватку данных для редактирования аудио, мы создали AudioEdit — новый крупномасштабный набор данных, содержащий более миллиона тщательно отобранных пар для редактирования. Многочисленные эксперименты демонстрируют, что Audio-Omni достигает наилучших результатов на наборе бенчмарков, превосходя предыдущие унифицированные подходы и показывая результаты на уровне или выше специализированных экспертных моделей. Помимо основных возможностей, Audio-Omni демонстрирует remarkable унаследованные свойства, включая генерацию с усиленными знаниями, генерацию в контексте и нулевое кросс-лингвальное управление аудиогенерацией, указывая на перспективное направление к универсальному генеративному аудиоинтеллекту. Код, модель и набор данных будут публично доступны по адресу https://zeyuet.github.io/Audio-Omni.
English
Recent progress in multimodal models has spurred rapid advances in audio understanding, generation, and editing. However, these capabilities are typically addressed by specialized models, leaving the development of a truly unified framework that can seamlessly integrate all three tasks underexplored. While some pioneering works have explored unifying audio understanding and generation, they often remain confined to specific domains. To address this, we introduce Audio-Omni, the first end-to-end framework to unify generation and editing across general sound, music, and speech domains, with integrated multi-modal understanding capabilities. Our architecture synergizes a frozen Multimodal Large Language Model for high-level reasoning with a trainable Diffusion Transformer for high-fidelity synthesis. To overcome the critical data scarcity in audio editing, we construct AudioEdit, a new large-scale dataset comprising over one million meticulously curated editing pairs. Extensive experiments demonstrate that Audio-Omni achieves state-of-the-art performance across a suite of benchmarks, outperforming prior unified approaches while achieving performance on par with or superior to specialized expert models. Beyond its core capabilities, Audio-Omni exhibits remarkable inherited capabilities, including knowledge-augmented reasoning generation, in-context generation, and zero-shot cross-lingual control for audio generation, highlighting a promising direction toward universal generative audio intelligence. The code, model, and dataset will be publicly released on https://zeyuet.github.io/Audio-Omni.