MMAU-Pro: Un punto de referencia desafiante y exhaustivo para la evaluación integral de la inteligencia general en audio

MMAU-Pro: A Challenging and Comprehensive Benchmark for Holistic Evaluation of Audio General Intelligence

August 19, 2025

Autores: Sonal Kumar, Šimon Sedláček, Vaibhavi Lokegaonkar, Fernando López, Wenyi Yu, Nishit Anand, Hyeonggon Ryu, Lichang Chen, Maxim Plička, Miroslav Hlaváček, William Fineas Ellingwood, Sathvik Udupa, Siyuan Hou, Allison Ferner, Sara Barahona, Cecilia Bolaños, Satish Rahi, Laura Herrera-Alarcón, Satvik Dixit, Siddhi Patil, Soham Deshmukh, Lasha Koroshinadze, Yao Liu, Leibny Paola Garcia Perera, Eleni Zanou, Themos Stafylakis, Joon Son Chung, David Harwath, Chao Zhang, Dinesh Manocha, Alicia Lozano-Diez, Santosh Kesiraju, Sreyan Ghosh, Ramani Duraiswami

cs.AI

Resumen

La comprensión auditiva, que incluye el habla, los sonidos no verbales y la música, es esencial para alcanzar una inteligencia de nivel humano. En consecuencia, los agentes de IA deben demostrar una comprensión auditiva holística para calificar como generalmente inteligentes. Sin embargo, evaluar la inteligencia auditiva de manera integral sigue siendo un desafío. Para abordar esta brecha, presentamos MMAU-Pro, el punto de referencia más completo y rigurosamente curado para evaluar la inteligencia auditiva en sistemas de IA. MMAU-Pro contiene 5,305 instancias, donde cada instancia tiene uno o más audios emparejados con pares de preguntas y respuestas generadas por expertos humanos, abarcando el habla, los sonidos, la música y sus combinaciones. A diferencia de los puntos de referencia existentes, MMAU-Pro evalúa la inteligencia auditiva en 49 habilidades únicas y múltiples dimensiones complejas, incluyendo la comprensión de audios de larga duración, el razonamiento espacial en audio, la comprensión de múltiples audios, entre otros. Todas las preguntas están meticulosamente diseñadas para requerir un razonamiento deliberado de múltiples pasos, incluyendo formatos de respuesta tanto de opción múltiple como de respuesta abierta. Es importante destacar que los datos de audio se obtienen directamente "del mundo real" en lugar de provenir de conjuntos de datos existentes con distribuciones conocidas. Evaluamos 22 modelos de IA multimodal líderes, tanto de código abierto como propietarios, revelando limitaciones significativas: incluso los modelos más avanzados, como Gemini 2.5 Flash y Audio Flamingo 3, logran solo un 59.2% y un 51.7% de precisión, respectivamente, acercándose al rendimiento aleatorio en múltiples categorías. Nuestro análisis extenso destaca deficiencias específicas y proporciona perspectivas novedosas, ofreciendo puntos de vista accionables para que la comunidad mejore el progreso de los futuros sistemas de IA hacia la inteligencia general auditiva. El punto de referencia y el código están disponibles en https://sonalkum.github.io/mmau-pro.

English

Audio comprehension-including speech, non-speech sounds, and music-is essential for achieving human-level intelligence. Consequently, AI agents must demonstrate holistic audio understanding to qualify as generally intelligent. However, evaluating auditory intelligence comprehensively remains challenging. To address this gap, we introduce MMAU-Pro, the most comprehensive and rigorously curated benchmark for assessing audio intelligence in AI systems. MMAU-Pro contains 5,305 instances, where each instance has one or more audios paired with human expert-generated question-answer pairs, spanning speech, sound, music, and their combinations. Unlike existing benchmarks, MMAU-Pro evaluates auditory intelligence across 49 unique skills and multiple complex dimensions, including long-form audio comprehension, spatial audio reasoning, multi-audio understanding, among others. All questions are meticulously designed to require deliberate multi-hop reasoning, including both multiple-choice and open-ended response formats. Importantly, audio data is sourced directly ``from the wild" rather than from existing datasets with known distributions. We evaluate 22 leading open-source and proprietary multimodal AI models, revealing significant limitations: even state-of-the-art models such as Gemini 2.5 Flash and Audio Flamingo 3 achieve only 59.2% and 51.7% accuracy, respectively, approaching random performance in multiple categories. Our extensive analysis highlights specific shortcomings and provides novel insights, offering actionable perspectives for the community to enhance future AI systems' progression toward audio general intelligence. The benchmark and code is available at https://sonalkum.github.io/mmau-pro.