Audio-Omni：マルチモーダル理解を汎用的な音声生成・編集へ拡張

Audio-Omni: Extending Multi-modal Understanding to Versatile Audio Generation and Editing

April 12, 2026

著者: Zeyue Tian, Binxin Yang, Zhaoyang Liu, Jiexuan Zhang, Ruibin Yuan, Hubery Yin, Qifeng Chen, Chen Li, Jing Lv, Wei Xue, Yike Guo

cs.AI

要旨

近年、マルチモーダルモデルの進展により、音声理解・生成・編集の分野は急速な発展を遂げている。しかし、これらの機能は通常、専門化された個別モデルによって実現されており、3つのタスクをシームレスに統合した真に統一的なフレームワークの開発は未開拓のままである。音声理解と生成の統合を探求した先駆的研究は存在するものの、それらは特定領域に限定される傾向がある。この問題に対処するため、我々は一般音響・音楽・音声領域にわたる生成と編集を統合し、マルチモーダル理解機能を内包した初のエンドツーエンドフレームワーク「Audio-Omni」を提案する。本アーキテクチャは、高次推論を担う固定化マルチモーダル大規模言語モデルと、高精細合成を実現する学習可能なDiffusion Transformerを協調させる。音声編集における深刻なデータ不足を克服するため、100万以上の厳選された編集ペアから構成される新規大規模データセット「AudioEdit」を構築した。大規模な実験により、Audio-Omniは一連のベンチマークにおいて従来の統合手法を凌駕する最高性能を達成し、専門特化モデルと同等あるいは優れた性能を示した。中核機能を超えて、Audio-Omniは知識拡張推論生成、文脈内生成、音声生成におけるゼロショット言語横断制御といった顕著な継承能力を発揮し、汎用生成音声知能に向けた有望な方向性を示している。コード・モデル・データセットはhttps://zeyuet.github.io/Audio-Omniで公開予定である。

English

Recent progress in multimodal models has spurred rapid advances in audio understanding, generation, and editing. However, these capabilities are typically addressed by specialized models, leaving the development of a truly unified framework that can seamlessly integrate all three tasks underexplored. While some pioneering works have explored unifying audio understanding and generation, they often remain confined to specific domains. To address this, we introduce Audio-Omni, the first end-to-end framework to unify generation and editing across general sound, music, and speech domains, with integrated multi-modal understanding capabilities. Our architecture synergizes a frozen Multimodal Large Language Model for high-level reasoning with a trainable Diffusion Transformer for high-fidelity synthesis. To overcome the critical data scarcity in audio editing, we construct AudioEdit, a new large-scale dataset comprising over one million meticulously curated editing pairs. Extensive experiments demonstrate that Audio-Omni achieves state-of-the-art performance across a suite of benchmarks, outperforming prior unified approaches while achieving performance on par with or superior to specialized expert models. Beyond its core capabilities, Audio-Omni exhibits remarkable inherited capabilities, including knowledge-augmented reasoning generation, in-context generation, and zero-shot cross-lingual control for audio generation, highlighting a promising direction toward universal generative audio intelligence. The code, model, and dataset will be publicly released on https://zeyuet.github.io/Audio-Omni.