MMAU-Pro: Um Benchmark Desafiador e Abrangente para a Avaliação Holística da Inteligência Geral em Áudio

Resumo

A compreensão auditiva - incluindo fala, sons não verbais e música - é essencial para alcançar inteligência em nível humano. Consequentemente, agentes de IA devem demonstrar compreensão auditiva holística para se qualificarem como geralmente inteligentes. No entanto, avaliar a inteligência auditiva de forma abrangente continua sendo um desafio. Para abordar essa lacuna, apresentamos o MMAU-Pro, o benchmark mais abrangente e rigorosamente curado para avaliar a inteligência auditiva em sistemas de IA. O MMAU-Pro contém 5.305 instâncias, onde cada instância possui um ou mais áudios associados a pares de perguntas e respostas gerados por especialistas humanos, abrangendo fala, som, música e suas combinações. Diferente dos benchmarks existentes, o MMAU-Pro avalia a inteligência auditiva em 49 habilidades únicas e múltiplas dimensões complexas, incluindo compreensão de áudio de longa duração, raciocínio espacial em áudio, compreensão de múltiplos áudios, entre outros. Todas as perguntas são meticulosamente projetadas para exigir raciocínio deliberado de múltiplos passos, incluindo formatos de resposta de múltipla escolha e abertos. Importante destacar que os dados de áudio são obtidos diretamente "da natureza", em vez de provenientes de conjuntos de dados existentes com distribuições conhecidas. Avaliamos 22 modelos líderes de IA multimodal, tanto de código aberto quanto proprietários, revelando limitações significativas: mesmo modelos de última geração, como o Gemini 2.5 Flash e o Audio Flamingo 3, atingem apenas 59,2% e 51,7% de precisão, respectivamente, aproximando-se do desempenho aleatório em múltiplas categorias. Nossa análise extensa destaca deficiências específicas e fornece novos insights, oferecendo perspectivas acionáveis para a comunidade aprimorar o progresso futuro dos sistemas de IA em direção à inteligência geral auditiva. O benchmark e o código estão disponíveis em https://sonalkum.github.io/mmau-pro.

English

Audio comprehension-including speech, non-speech sounds, and music-is essential for achieving human-level intelligence. Consequently, AI agents must demonstrate holistic audio understanding to qualify as generally intelligent. However, evaluating auditory intelligence comprehensively remains challenging. To address this gap, we introduce MMAU-Pro, the most comprehensive and rigorously curated benchmark for assessing audio intelligence in AI systems. MMAU-Pro contains 5,305 instances, where each instance has one or more audios paired with human expert-generated question-answer pairs, spanning speech, sound, music, and their combinations. Unlike existing benchmarks, MMAU-Pro evaluates auditory intelligence across 49 unique skills and multiple complex dimensions, including long-form audio comprehension, spatial audio reasoning, multi-audio understanding, among others. All questions are meticulously designed to require deliberate multi-hop reasoning, including both multiple-choice and open-ended response formats. Importantly, audio data is sourced directly ``from the wild" rather than from existing datasets with known distributions. We evaluate 22 leading open-source and proprietary multimodal AI models, revealing significant limitations: even state-of-the-art models such as Gemini 2.5 Flash and Audio Flamingo 3 achieve only 59.2% and 51.7% accuracy, respectively, approaching random performance in multiple categories. Our extensive analysis highlights specific shortcomings and provides novel insights, offering actionable perspectives for the community to enhance future AI systems' progression toward audio general intelligence. The benchmark and code is available at https://sonalkum.github.io/mmau-pro.

MMAU-Pro: Um Benchmark Desafiador e Abrangente para a Avaliação Holística da Inteligência Geral em Áudio

MMAU-Pro: A Challenging and Comprehensive Benchmark for Holistic Evaluation of Audio General Intelligence

Resumo

Support