MMAE : Un benchmark massif d'édition audio multitâche

Résumé

Nous présentons MMAE, un benchmark d'édition audio multitâche massif, constituant le premier banc d'essai d'évaluation complet conçu pour l'édition audio généraliste basée sur des instructions. Encouragé par l'évolution vers la création intelligente, l'édition interactive s'est rapidement étendue des domaines visuels — pionnière avec des modèles comme Nano-banana 2 pour les images et Gemini-Omni pour la vidéo — au domaine audio. Cependant, l'infrastructure d'évaluation actuelle accuse un retard important, restant très fragmentée et limitée à des sous-domaines spécifiques ou à des opérations de base. Contrairement aux benchmarks existants, dont la portée est limitée, MMAE couvre un large éventail de scénarios réels, englobant 7 modalités audio distinctes, incluant le son, la parole, la musique et leurs mélanges. De plus, nous établissons une taxonomie complète comprenant 6 niveaux de complexité des tâches, allant des modifications de base au raisonnement à étapes multiples et à l'édition en plusieurs tours, 2 niveaux de granularité et 8 types d'opérations distincts. Minutieusement organisé grâce à une collaboration humain-agent, MMAE comprend 2 000 échantillons haute-fidélité associés à un cadre d'évaluation novateur basé sur une grille d'évaluation. En décomposant les tâches libres en 17 741 critères vérifiables, ce paradigme robuste basé sur une grille permet une évaluation précise et multidimensionnelle à la fois du respect des instructions et de la cohérence contextuelle. Notre évaluation approfondie des modèles leaders révèle que les systèmes actuels sont encore loin d'atteindre des éditions fiables. Fait frappant, le taux de correspondance exacte (EMR) reste systématiquement inférieur à 5 % et chute à 0 % absolu dans les tâches complexes à modalités mixtes, mettant en évidence des goulots d'étranglement critiques dans l'exécution précise et la robustesse structurelle. Nous espérons que MMAE servira de catalyseur pour les futures avancées dans la communauté de la création intelligente, en fournissant une feuille de route diagnostique claire et en établissant un paradigme d'évaluation standardisé et durable pour les systèmes d'édition audio de nouvelle génération.

English

We introduce MMAE, a Massive Multitask Audio Editing benchmark, serving as the first comprehensive evaluation testbed designed for general-purpose instruction-based audio editing. Spurred by the shift toward intelligent creation, interactive editing has rapidly expanded from visual domains, pioneered by models like Nano-banana 2 for images and Gemini-Omni for video, into audio. However, the current evaluation infrastructure lags severely, remaining highly fragmented and restricted to specific subdomains or basic operations. Unlike existing benchmarks that are limited in scope, MMAE extends to a broad spectrum of real-world scenarios, encompassing 7 distinct audio modalities, including sound, speech, music, and their mixtures. Furthermore, we establish a comprehensive taxonomy spanning 6 levels of task complexity, from basic modifications to multi-hop reasoning and multi-round editing, 2 levels of granularity, and 8 distinct operation types. Meticulously curated through human-agent collaboration, MMAE comprises 2,000 high-fidelity samples paired with a pioneering rubric-based evaluation framework. By decomposing free-form tasks into 17,741 verifiable criteria, this robust rubric-based paradigm enables a precise, multi-dimensional assessment of both instruction following and context consistency. Our extensive evaluation of leading models reveals that current systems remain far from achieving reliable edits. Strikingly, the Exact Match Rate (EMR) consistently falls below 5% and plummets to an absolute 0% in complex, mixed-modality tasks, exposing critical bottlenecks in precise execution and structural robustness. We hope MMAE will serve as a catalyst for future advances in the intelligent creation community, providing a clear diagnostic roadmap and establishing a standardized, long-lasting evaluation paradigm for next-generation audio editing systems.