MMAU-Pro : Un benchmark exigeant et complet pour l'évaluation holistique de l'intelligence générale audio

MMAU-Pro: A Challenging and Comprehensive Benchmark for Holistic Evaluation of Audio General Intelligence

August 19, 2025

papers.authors: Sonal Kumar, Šimon Sedláček, Vaibhavi Lokegaonkar, Fernando López, Wenyi Yu, Nishit Anand, Hyeonggon Ryu, Lichang Chen, Maxim Plička, Miroslav Hlaváček, William Fineas Ellingwood, Sathvik Udupa, Siyuan Hou, Allison Ferner, Sara Barahona, Cecilia Bolaños, Satish Rahi, Laura Herrera-Alarcón, Satvik Dixit, Siddhi Patil, Soham Deshmukh, Lasha Koroshinadze, Yao Liu, Leibny Paola Garcia Perera, Eleni Zanou, Themos Stafylakis, Joon Son Chung, David Harwath, Chao Zhang, Dinesh Manocha, Alicia Lozano-Diez, Santosh Kesiraju, Sreyan Ghosh, Ramani Duraiswami

cs.AI

papers.abstract

La compréhension audio - incluant la parole, les sons non verbaux et la musique - est essentielle pour atteindre une intelligence de niveau humain. Par conséquent, les agents d'IA doivent démontrer une compréhension audio holistique pour être qualifiés d'intelligents de manière générale. Cependant, évaluer de manière exhaustive l'intelligence auditive reste un défi. Pour combler cette lacune, nous présentons MMAU-Pro, le benchmark le plus complet et rigoureusement conçu pour évaluer l'intelligence audio dans les systèmes d'IA. MMAU-Pro contient 5 305 instances, où chaque instance comprend un ou plusieurs audios associés à des paires de questions-réponses générées par des experts humains, couvrant la parole, les sons, la musique et leurs combinaisons. Contrairement aux benchmarks existants, MMAU-Pro évalue l'intelligence auditive à travers 49 compétences uniques et plusieurs dimensions complexes, notamment la compréhension audio de longue durée, le raisonnement spatial audio, la compréhension multi-audio, entre autres. Toutes les questions sont méticuleusement conçues pour nécessiter un raisonnement multi-étapes délibéré, incluant à la fois des formats de réponse à choix multiples et ouverts. De manière cruciale, les données audio sont directement extraites "du terrain" plutôt que de jeux de données existants avec des distributions connues. Nous évaluons 22 modèles d'IA multimodaux open-source et propriétaires leaders, révélant des limitations significatives : même les modèles de pointe tels que Gemini 2.5 Flash et Audio Flamingo 3 n'atteignent respectivement que 59,2 % et 51,7 % de précision, approchant des performances aléatoires dans plusieurs catégories. Notre analyse approfondie met en lumière des lacunes spécifiques et fournit de nouvelles perspectives, offrant des points de vue actionnables pour la communauté afin d'améliorer la progression des futurs systèmes d'IA vers l'intelligence audio générale. Le benchmark et le code sont disponibles à l'adresse https://sonalkum.github.io/mmau-pro.

English

Audio comprehension-including speech, non-speech sounds, and music-is essential for achieving human-level intelligence. Consequently, AI agents must demonstrate holistic audio understanding to qualify as generally intelligent. However, evaluating auditory intelligence comprehensively remains challenging. To address this gap, we introduce MMAU-Pro, the most comprehensive and rigorously curated benchmark for assessing audio intelligence in AI systems. MMAU-Pro contains 5,305 instances, where each instance has one or more audios paired with human expert-generated question-answer pairs, spanning speech, sound, music, and their combinations. Unlike existing benchmarks, MMAU-Pro evaluates auditory intelligence across 49 unique skills and multiple complex dimensions, including long-form audio comprehension, spatial audio reasoning, multi-audio understanding, among others. All questions are meticulously designed to require deliberate multi-hop reasoning, including both multiple-choice and open-ended response formats. Importantly, audio data is sourced directly ``from the wild" rather than from existing datasets with known distributions. We evaluate 22 leading open-source and proprietary multimodal AI models, revealing significant limitations: even state-of-the-art models such as Gemini 2.5 Flash and Audio Flamingo 3 achieve only 59.2% and 51.7% accuracy, respectively, approaching random performance in multiple categories. Our extensive analysis highlights specific shortcomings and provides novel insights, offering actionable perspectives for the community to enhance future AI systems' progression toward audio general intelligence. The benchmark and code is available at https://sonalkum.github.io/mmau-pro.