MMAE: Масштабный мультизадачный бенчмарк аудиоредактирования

Аннотация

Мы представляем MMAE — Massive Multitask Audio Editing Benchmark, первый комплексный оценочный полигон, разработанный для универсального редактирования аудио по инструкциям. Под влиянием перехода к интеллектуальному творчеству интерактивное редактирование быстро распространилось из визуальной сферы (благодаря таким моделям, как Nano-banana 2 для изображений и Gemini-Omni для видео) на аудио. Однако современная инфраструктура оценки значительно отстаёт, оставаясь сильно фрагментированной и ограниченной конкретными поддоменами или базовыми операциями. В отличие от существующих бенчмарков с узкой областью применения, MMAE охватывает широкий спектр реальных сценариев, включая 7 различных аудиомодальностей: звук, речь, музыку и их смеси. Кроме того, мы устанавливаем всеобъемлющую таксономию, охватывающую 6 уровней сложности задач (от простых модификаций до многошаговых рассуждений и многораундового редактирования), 2 уровня детализации и 8 типов операций. Тщательно собранный с помощью человеко-агентного взаимодействия, MMAE включает 2 000 высококачественных образцов, дополненных новаторской критериальной системой оценки. Разлагая свободные задачи на 17 741 верифицируемый критерий, эта надёжная критериальная парадигма обеспечивает точную многомерную оценку как следования инструкциям, так и контекстной согласованности. Наш обширный анализ ведущих моделей показывает, что текущие системы всё ещё далеки от надёжного редактирования. Поразительно, но уровень точного совпадения (EMR) стабильно ниже 5% и падает до абсолютного 0% в сложных смешанных модальностях, обнажая критические узкие места в точном исполнении и структурной устойчивости. Мы надеемся, что MMAE станет катализатором будущих достижений в сообществе интеллектуального творчества, предоставляя чёткую диагностическую карту и устанавливая стандартизированную долгосрочную парадигму оценки для систем редактирования аудио следующего поколения.

English

We introduce MMAE, a Massive Multitask Audio Editing benchmark, serving as the first comprehensive evaluation testbed designed for general-purpose instruction-based audio editing. Spurred by the shift toward intelligent creation, interactive editing has rapidly expanded from visual domains, pioneered by models like Nano-banana 2 for images and Gemini-Omni for video, into audio. However, the current evaluation infrastructure lags severely, remaining highly fragmented and restricted to specific subdomains or basic operations. Unlike existing benchmarks that are limited in scope, MMAE extends to a broad spectrum of real-world scenarios, encompassing 7 distinct audio modalities, including sound, speech, music, and their mixtures. Furthermore, we establish a comprehensive taxonomy spanning 6 levels of task complexity, from basic modifications to multi-hop reasoning and multi-round editing, 2 levels of granularity, and 8 distinct operation types. Meticulously curated through human-agent collaboration, MMAE comprises 2,000 high-fidelity samples paired with a pioneering rubric-based evaluation framework. By decomposing free-form tasks into 17,741 verifiable criteria, this robust rubric-based paradigm enables a precise, multi-dimensional assessment of both instruction following and context consistency. Our extensive evaluation of leading models reveals that current systems remain far from achieving reliable edits. Strikingly, the Exact Match Rate (EMR) consistently falls below 5% and plummets to an absolute 0% in complex, mixed-modality tasks, exposing critical bottlenecks in precise execution and structural robustness. We hope MMAE will serve as a catalyst for future advances in the intelligent creation community, providing a clear diagnostic roadmap and establishing a standardized, long-lasting evaluation paradigm for next-generation audio editing systems.