MMAU-Pro: Ein anspruchsvoller und umfassender Benchmark für die ganzheitliche Bewertung der auditiven Allgemeinen Intelligenz

papers.abstract

Auditives Verständnis – einschließlich Sprache, nicht-sprachlicher Geräusche und Musik – ist entscheidend für die Erreichung menschlicher Intelligenz. Folglich müssen KI-Agenten ein ganzheitliches auditives Verständnis demonstrieren, um als allgemein intelligent zu gelten. Die umfassende Bewertung auditiver Intelligenz bleibt jedoch eine Herausforderung. Um diese Lücke zu schließen, stellen wir MMAU-Pro vor, den umfassendsten und strengstens kuratierten Benchmark zur Bewertung auditiver Intelligenz in KI-Systemen. MMAU-Pro enthält 5.305 Instanzen, wobei jede Instanz ein oder mehrere Audiodateien mit von menschlichen Experten generierten Frage-Antwort-Paaren kombiniert, die Sprache, Geräusche, Musik und deren Kombinationen abdecken. Im Gegensatz zu bestehenden Benchmarks bewertet MMAU-Pro auditive Intelligenz über 49 einzigartige Fähigkeiten und mehrere komplexe Dimensionen hinweg, darunter das Verständnis langer Audioformate, räumliches Audioverständnis und das Verständnis mehrerer Audiodateien. Alle Fragen sind sorgfältig gestaltet, um gezieltes Multi-Hop-Denken zu erfordern, einschließlich sowohl Multiple-Choice- als auch offener Antwortformate. Wichtig ist, dass die Audiodaten direkt „aus der Wildnis“ stammen und nicht aus bestehenden Datensätzen mit bekannten Verteilungen. Wir evaluieren 22 führende Open-Source- und proprietäre multimodale KI-Modelle und decken erhebliche Einschränkungen auf: Selbst state-of-the-art Modelle wie Gemini 2.5 Flash und Audio Flamingo 3 erreichen nur 59,2 % bzw. 51,7 % Genauigkeit und nähern sich in mehreren Kategorien der Zufallsleistung. Unsere umfangreiche Analyse hebt spezifische Schwächen hervor und bietet neue Erkenntnisse, die der Gemeinschaft handlungsorientierte Perspektiven bieten, um die zukünftige Entwicklung von KI-Systemen hin zu allgemeiner auditiver Intelligenz zu verbessern. Der Benchmark und der Code sind unter https://sonalkum.github.io/mmau-pro verfügbar.

English

Audio comprehension-including speech, non-speech sounds, and music-is essential for achieving human-level intelligence. Consequently, AI agents must demonstrate holistic audio understanding to qualify as generally intelligent. However, evaluating auditory intelligence comprehensively remains challenging. To address this gap, we introduce MMAU-Pro, the most comprehensive and rigorously curated benchmark for assessing audio intelligence in AI systems. MMAU-Pro contains 5,305 instances, where each instance has one or more audios paired with human expert-generated question-answer pairs, spanning speech, sound, music, and their combinations. Unlike existing benchmarks, MMAU-Pro evaluates auditory intelligence across 49 unique skills and multiple complex dimensions, including long-form audio comprehension, spatial audio reasoning, multi-audio understanding, among others. All questions are meticulously designed to require deliberate multi-hop reasoning, including both multiple-choice and open-ended response formats. Importantly, audio data is sourced directly ``from the wild" rather than from existing datasets with known distributions. We evaluate 22 leading open-source and proprietary multimodal AI models, revealing significant limitations: even state-of-the-art models such as Gemini 2.5 Flash and Audio Flamingo 3 achieve only 59.2% and 51.7% accuracy, respectively, approaching random performance in multiple categories. Our extensive analysis highlights specific shortcomings and provides novel insights, offering actionable perspectives for the community to enhance future AI systems' progression toward audio general intelligence. The benchmark and code is available at https://sonalkum.github.io/mmau-pro.

MMAU-Pro: Ein anspruchsvoller und umfassender Benchmark für die ganzheitliche Bewertung der auditiven Allgemeinen Intelligenz

MMAU-Pro: A Challenging and Comprehensive Benchmark for Holistic Evaluation of Audio General Intelligence

papers.abstract

Support