Audio-Omni: Erweiterung des multimodalen Verständnisses auf vielseitige Audio-Erzeugung und -Bearbeitung
Audio-Omni: Extending Multi-modal Understanding to Versatile Audio Generation and Editing
April 12, 2026
Autoren: Zeyue Tian, Binxin Yang, Zhaoyang Liu, Jiexuan Zhang, Ruibin Yuan, Hubery Yin, Qifeng Chen, Chen Li, Jing Lv, Wei Xue, Yike Guo
cs.AI
Zusammenfassung
Jüngste Fortschritte bei multimodalen Modellen haben rasante Entwicklungen im Audio-Verständnis, in der Audio-Erzeugung und -Bearbeitung angestoßen. Diese Fähigkeiten werden jedoch typischerweise von spezialisierten Modellen abgedeckt, wodurch die Entwicklung eines wirklich vereinheitlichten Frameworks, das alle drei Aufgaben nahtlos integrieren kann, bislang wenig erforscht ist. Während einige wegweisende Arbeiten die Vereinheitlichung von Audio-Verständnis und -Erzeugung untersucht haben, bleiben diese oft auf spezifische Domänen beschränkt. Um dies zu adressieren, stellen wir Audio-Omni vor, das erste End-to-End-Framework, das Erzeugung und Bearbeitung über allgemeine Klänge, Musik und Sprachdomänen hinweg vereint und integrierte multimodale Verständnisfähigkeiten besitzt. Unsere Architektur kombiniert synergistisch ein eingefrorenes Multimodales Großsprachmodell für hochrangiges Reasoning mit einem trainierbaren Diffusion-Transformer für hochauflösende Synthese. Um die kritische Datenknappheit in der Audiobearbeitung zu überwinden, haben wir AudioEdit aufgebaut, einen neuen großen Datensatz, der über eine Million sorgfältig kuratierter Bearbeitungspaare umfasst. Umfangreiche Experimente zeigen, dass Audio-Omni state-of-the-art Leistung über eine Reihe von Benchmarks hinweg erreicht, frühere vereinheitlichte Ansätze übertrifft und dabei eine Leistung erzielt, die mit spezialisierten Expertenmodellen gleichauf oder überlegen ist. Über seine Kernfähigkeiten hinaus zeigt Audio-Omni bemerkenswerte vererbte Fähigkeiten, darunter wissensverstärktes Reasoning zur Generierung, In-Context-Generierung und zero-shot cross-linguale Steuerung für die Audioerzeugung, was eine vielversprechende Richtung hin zu einer universellen generativen Audio-Intelligenz aufzeigt. Der Code, das Modell und der Datensatz werden unter https://zeyuet.github.io/Audio-Omni öffentlich zugänglich gemacht.
English
Recent progress in multimodal models has spurred rapid advances in audio understanding, generation, and editing. However, these capabilities are typically addressed by specialized models, leaving the development of a truly unified framework that can seamlessly integrate all three tasks underexplored. While some pioneering works have explored unifying audio understanding and generation, they often remain confined to specific domains. To address this, we introduce Audio-Omni, the first end-to-end framework to unify generation and editing across general sound, music, and speech domains, with integrated multi-modal understanding capabilities. Our architecture synergizes a frozen Multimodal Large Language Model for high-level reasoning with a trainable Diffusion Transformer for high-fidelity synthesis. To overcome the critical data scarcity in audio editing, we construct AudioEdit, a new large-scale dataset comprising over one million meticulously curated editing pairs. Extensive experiments demonstrate that Audio-Omni achieves state-of-the-art performance across a suite of benchmarks, outperforming prior unified approaches while achieving performance on par with or superior to specialized expert models. Beyond its core capabilities, Audio-Omni exhibits remarkable inherited capabilities, including knowledge-augmented reasoning generation, in-context generation, and zero-shot cross-lingual control for audio generation, highlighting a promising direction toward universal generative audio intelligence. The code, model, and dataset will be publicly released on https://zeyuet.github.io/Audio-Omni.