MuChoMusic: Avaliando a Compreensão Musical em Modelos Multimodais de Áudio e Linguagem

MuChoMusic: Evaluating Music Understanding in Multimodal Audio-Language Models

August 2, 2024

Autores: Benno Weck, Ilaria Manco, Emmanouil Benetos, Elio Quinton, George Fazekas, Dmitry Bogdanov

cs.AI

Resumo

Modelos multimodais que processam conjuntamente áudio e linguagem têm grande potencial em compreensão de áudio e estão sendo cada vez mais adotados no domínio da música. Ao permitir que os usuários façam consultas por texto e obtenham informações sobre um determinado áudio, esses modelos têm o potencial de viabilizar uma variedade de tarefas de compreensão musical por meio de interfaces baseadas em linguagem. No entanto, sua avaliação apresenta desafios consideráveis e ainda não está claro como avaliar efetivamente sua capacidade de interpretar corretamente entradas relacionadas à música com os métodos atuais. Motivados por isso, apresentamos o MuChoMusic, um benchmark para avaliar a compreensão musical em modelos de linguagem multimodais focados em áudio. O MuChoMusic é composto por 1.187 perguntas de múltipla escolha, todas validadas por anotadores humanos, sobre 644 faixas musicais provenientes de dois conjuntos de dados musicais disponíveis publicamente, abrangendo uma ampla variedade de gêneros. As perguntas no benchmark são elaboradas para avaliar conhecimentos e habilidades de raciocínio em várias dimensões que abrangem conceitos musicais fundamentais e sua relação com contextos culturais e funcionais. Através da análise holística proporcionada pelo benchmark, avaliamos cinco modelos de código aberto e identificamos várias armadilhas, incluindo uma dependência excessiva na modalidade de linguagem, apontando para a necessidade de uma melhor integração multimodal. Os dados e o código são de código aberto.

English

Multimodal models that jointly process audio and language hold great promise in audio understanding and are increasingly being adopted in the music domain. By allowing users to query via text and obtain information about a given audio input, these models have the potential to enable a variety of music understanding tasks via language-based interfaces. However, their evaluation poses considerable challenges, and it remains unclear how to effectively assess their ability to correctly interpret music-related inputs with current methods. Motivated by this, we introduce MuChoMusic, a benchmark for evaluating music understanding in multimodal language models focused on audio. MuChoMusic comprises 1,187 multiple-choice questions, all validated by human annotators, on 644 music tracks sourced from two publicly available music datasets, and covering a wide variety of genres. Questions in the benchmark are crafted to assess knowledge and reasoning abilities across several dimensions that cover fundamental musical concepts and their relation to cultural and functional contexts. Through the holistic analysis afforded by the benchmark, we evaluate five open-source models and identify several pitfalls, including an over-reliance on the language modality, pointing to a need for better multimodal integration. Data and code are open-sourced.