Audio-Omni: Expandindo a Compreensão Multimodal para Geração e Edição Versáteis de Áudio
Audio-Omni: Extending Multi-modal Understanding to Versatile Audio Generation and Editing
April 12, 2026
Autores: Zeyue Tian, Binxin Yang, Zhaoyang Liu, Jiexuan Zhang, Ruibin Yuan, Hubery Yin, Qifeng Chen, Chen Li, Jing Lv, Wei Xue, Yike Guo
cs.AI
Resumo
Os recentes avanços em modelos multimodais têm impulsionado progressos rápidos na compreensão, geração e edição de áudio. No entanto, essas capacidades são normalmente abordadas por modelos especializados, deixando o desenvolvimento de uma estrutura verdadeiramente unificada que possa integrar perfeitamente as três tarefas pouco explorado. Embora alguns trabalhos pioneiros tenham explorado a unificação da compreensão e geração de áudio, eles frequentemente permanecem confinados a domínios específicos. Para resolver isso, apresentamos o Audio-Omni, a primeira estrutura *end-to-end* a unificar a geração e edição nos domínios gerais de som, música e fala, com capacidades integradas de compreensão multimodal. Nossa arquitetura sinergiza um Modelo de Linguagem Grande Multimodal congelado para raciocínio de alto nível com um *Diffusion Transformer* treinável para síntese de alta fidelidade. Para superar a escassez crítica de dados em edição de áudio, construímos o AudioEdit, um novo conjunto de dados em larga escala que compreende mais de um milhão de pares de edição meticulosamente curados. Experimentos extensivos demonstram que o Audio-Omni alcança desempenho de ponta em uma suíte de benchmarks, superando abordagens unificadas anteriores enquanto atinge um desempenho equivalente ou superior a modelos especialistas. Além de suas capacidades principais, o Audio-Omni exibe notáveis capacidades herdadas, incluindo geração de raciocínio aumentado por conhecimento, geração em contexto e controle *zero-shot* cross-lingual para geração de áudio, destacando uma direção promissora rumo a uma inteligência de áudio generativa universal. O código, modelo e conjunto de dados serão publicamente lançados em https://zeyuet.github.io/Audio-Omni.
English
Recent progress in multimodal models has spurred rapid advances in audio understanding, generation, and editing. However, these capabilities are typically addressed by specialized models, leaving the development of a truly unified framework that can seamlessly integrate all three tasks underexplored. While some pioneering works have explored unifying audio understanding and generation, they often remain confined to specific domains. To address this, we introduce Audio-Omni, the first end-to-end framework to unify generation and editing across general sound, music, and speech domains, with integrated multi-modal understanding capabilities. Our architecture synergizes a frozen Multimodal Large Language Model for high-level reasoning with a trainable Diffusion Transformer for high-fidelity synthesis. To overcome the critical data scarcity in audio editing, we construct AudioEdit, a new large-scale dataset comprising over one million meticulously curated editing pairs. Extensive experiments demonstrate that Audio-Omni achieves state-of-the-art performance across a suite of benchmarks, outperforming prior unified approaches while achieving performance on par with or superior to specialized expert models. Beyond its core capabilities, Audio-Omni exhibits remarkable inherited capabilities, including knowledge-augmented reasoning generation, in-context generation, and zero-shot cross-lingual control for audio generation, highlighting a promising direction toward universal generative audio intelligence. The code, model, and dataset will be publicly released on https://zeyuet.github.io/Audio-Omni.