MMAU-Pro: Een Uitdagende en Omvattende Benchmark voor de Holistische Evaluatie van Audio Algemene Intelligentie

Samenvatting

Auditief begrip - inclusief spraak, niet-spraakgeluiden en muziek - is essentieel voor het bereiken van menselijk niveau van intelligentie. Bijgevolg moeten AI-agenten holistisch auditief begrip demonstreren om te kwalificeren als algemeen intelligent. Het blijft echter een uitdaging om auditieve intelligentie uitgebreid te evalueren. Om deze kloof te overbruggen, introduceren we MMAU-Pro, de meest uitgebreide en rigoureus samengestelde benchmark voor het beoordelen van auditieve intelligentie in AI-systemen. MMAU-Pro bevat 5.305 instanties, waarbij elke instantie een of meer audiofragmenten bevat die zijn gekoppeld aan vraag-antwoordparen gegenereerd door menselijke experts, die spraak, geluid, muziek en hun combinaties omvatten. In tegenstelling tot bestaande benchmarks evalueert MMAU-Pro auditieve intelligentie over 49 unieke vaardigheden en meerdere complexe dimensies, waaronder langdurig auditief begrip, ruimtelijk audio-redeneren en multi-audio begrip, onder andere. Alle vragen zijn zorgvuldig ontworpen om bewuste multi-hop redenering te vereisen, inclusief zowel meerkeuze- als open-eind antwoordformaten. Belangrijk is dat de audiodata rechtstreeks "uit het wild" wordt gehaald in plaats van uit bestaande datasets met bekende distributies. We evalueren 22 toonaangevende open-source en propriëtaire multimodale AI-modellen, wat significante beperkingen aan het licht brengt: zelfs state-of-the-art modellen zoals Gemini 2.5 Flash en Audio Flamingo 3 behalen slechts respectievelijk 59,2% en 51,7% nauwkeurigheid, wat in meerdere categorieën bijna willekeurige prestaties benadert. Onze uitgebreide analyse belicht specifieke tekortkomingen en biedt nieuwe inzichten, waardoor actiegerichte perspectieven worden geboden voor de gemeenschap om de voortgang van toekomstige AI-systemen naar algemene auditieve intelligentie te verbeteren. De benchmark en code zijn beschikbaar op https://sonalkum.github.io/mmau-pro.

English

Audio comprehension-including speech, non-speech sounds, and music-is essential for achieving human-level intelligence. Consequently, AI agents must demonstrate holistic audio understanding to qualify as generally intelligent. However, evaluating auditory intelligence comprehensively remains challenging. To address this gap, we introduce MMAU-Pro, the most comprehensive and rigorously curated benchmark for assessing audio intelligence in AI systems. MMAU-Pro contains 5,305 instances, where each instance has one or more audios paired with human expert-generated question-answer pairs, spanning speech, sound, music, and their combinations. Unlike existing benchmarks, MMAU-Pro evaluates auditory intelligence across 49 unique skills and multiple complex dimensions, including long-form audio comprehension, spatial audio reasoning, multi-audio understanding, among others. All questions are meticulously designed to require deliberate multi-hop reasoning, including both multiple-choice and open-ended response formats. Importantly, audio data is sourced directly ``from the wild" rather than from existing datasets with known distributions. We evaluate 22 leading open-source and proprietary multimodal AI models, revealing significant limitations: even state-of-the-art models such as Gemini 2.5 Flash and Audio Flamingo 3 achieve only 59.2% and 51.7% accuracy, respectively, approaching random performance in multiple categories. Our extensive analysis highlights specific shortcomings and provides novel insights, offering actionable perspectives for the community to enhance future AI systems' progression toward audio general intelligence. The benchmark and code is available at https://sonalkum.github.io/mmau-pro.

MMAU-Pro: Een Uitdagende en Omvattende Benchmark voor de Holistische Evaluatie van Audio Algemene Intelligentie

MMAU-Pro: A Challenging and Comprehensive Benchmark for Holistic Evaluation of Audio General Intelligence

Samenvatting

Support