MMAE: Een grootschalige multitaak benchmark voor audiobewerking

Samenvatting

Wij introduceren MMAE, een Massive Multitask Audio Editing benchmark, die fungeert als het eerste uitgebreide evaluatie-testbed ontworpen voor algemene, instructiegebaseerde audiobewerking. Gestimuleerd door de verschuiving naar intelligente creatie, heeft interactieve bewerking zich snel uitgebreid van visuele domeinen, geïnitieerd door modellen zoals Nano-banana 2 voor afbeeldingen en Gemini-Omni voor video, naar audio. De huidige evaluatie-infrastructuur loopt echter ernstig achter en blijft sterk gefragmenteerd, beperkt tot specifieke subdomeinen of basisbewerkingen. In tegenstelling tot bestaande benchmarks die beperkt zijn in reikwijdte, breidt MMAE zich uit naar een breed spectrum van realistische scenario's, waarbij 7 verschillende audiomodaliteiten worden omvat, waaronder geluid, spraak, muziek en hun mengsels. Verder stellen we een uitgebreide taxonomie op die 6 niveaus van taakcomplexiteit omvat, van basisaanpassingen tot meerstapsredenering en meerrondebewerking, 2 granulariteitsniveaus en 8 verschillende bewerkingstypen. Zorgvuldig samengesteld door mens-agent samenwerking, omvat MMAE 2.000 high-fidelity samples, gekoppeld aan een baanbrekend rubric-gebaseerd evaluatiekader. Door vrije-vorm taken te ontleden in 17.741 verifieerbare criteria, maakt dit robuuste rubric-gebaseerde paradigma een precieze, multidimensionale beoordeling mogelijk van zowel instructievolging als contextconsistentie. Onze uitgebreide evaluatie van toonaangevende modellen laat zien dat huidige systemen nog ver verwijderd zijn van betrouwbare bewerkingen. Opvallend is dat de Exact Match Rate (EMR) consequent onder de 5% ligt en in complexe, gemengde-modaliteitstaken daalt tot een absolute 0%, wat kritieke knelpunten blootlegt in precieze uitvoering en structurele robuustheid. We hopen dat MMAE zal dienen als een katalysator voor toekomstige vooruitgang in de intelligente creatiegemeenschap, door een duidelijke diagnostische routekaart te bieden en een gestandaardiseerd, langdurig evaluatieparadigma te vestigen voor audiobewerkingssystemen van de volgende generatie.

English

We introduce MMAE, a Massive Multitask Audio Editing benchmark, serving as the first comprehensive evaluation testbed designed for general-purpose instruction-based audio editing. Spurred by the shift toward intelligent creation, interactive editing has rapidly expanded from visual domains, pioneered by models like Nano-banana 2 for images and Gemini-Omni for video, into audio. However, the current evaluation infrastructure lags severely, remaining highly fragmented and restricted to specific subdomains or basic operations. Unlike existing benchmarks that are limited in scope, MMAE extends to a broad spectrum of real-world scenarios, encompassing 7 distinct audio modalities, including sound, speech, music, and their mixtures. Furthermore, we establish a comprehensive taxonomy spanning 6 levels of task complexity, from basic modifications to multi-hop reasoning and multi-round editing, 2 levels of granularity, and 8 distinct operation types. Meticulously curated through human-agent collaboration, MMAE comprises 2,000 high-fidelity samples paired with a pioneering rubric-based evaluation framework. By decomposing free-form tasks into 17,741 verifiable criteria, this robust rubric-based paradigm enables a precise, multi-dimensional assessment of both instruction following and context consistency. Our extensive evaluation of leading models reveals that current systems remain far from achieving reliable edits. Strikingly, the Exact Match Rate (EMR) consistently falls below 5% and plummets to an absolute 0% in complex, mixed-modality tasks, exposing critical bottlenecks in precise execution and structural robustness. We hope MMAE will serve as a catalyst for future advances in the intelligent creation community, providing a clear diagnostic roadmap and establishing a standardized, long-lasting evaluation paradigm for next-generation audio editing systems.