MuChoMusic: Evaluación de la Comprensión Musical en Modelos Multimodales de Audio-Lenguaje

MuChoMusic: Evaluating Music Understanding in Multimodal Audio-Language Models

August 2, 2024

Autores: Benno Weck, Ilaria Manco, Emmanouil Benetos, Elio Quinton, George Fazekas, Dmitry Bogdanov

cs.AI

Resumen

Los modelos multimodales que procesan conjuntamente audio y lenguaje prometen mucho en la comprensión del audio y están siendo cada vez más adoptados en el ámbito musical. Al permitir a los usuarios hacer consultas a través de texto y obtener información sobre un audio dado, estos modelos tienen el potencial de habilitar una variedad de tareas de comprensión musical a través de interfaces basadas en lenguaje. Sin embargo, su evaluación plantea desafíos considerables y aún no está claro cómo evaluar efectivamente su capacidad para interpretar correctamente entradas relacionadas con la música con los métodos actuales. Motivados por esto, presentamos MuChoMusic, un banco de pruebas para evaluar la comprensión musical en modelos de lenguaje multimodales centrados en audio. MuChoMusic consta de 1,187 preguntas de opción múltiple, todas validadas por anotadores humanos, sobre 644 pistas musicales obtenidas de dos conjuntos de datos musicales públicamente disponibles, y abarca una amplia variedad de géneros. Las preguntas en el banco de pruebas están diseñadas para evaluar conocimientos y habilidades de razonamiento en varias dimensiones que cubren conceptos musicales fundamentales y su relación con contextos culturales y funcionales. A través del análisis holístico proporcionado por el banco de pruebas, evaluamos cinco modelos de código abierto e identificamos varios problemas, incluida una excesiva dependencia de la modalidad del lenguaje, lo que señala la necesidad de una mejor integración multimodal. Los datos y el código son de código abierto.

English

Multimodal models that jointly process audio and language hold great promise in audio understanding and are increasingly being adopted in the music domain. By allowing users to query via text and obtain information about a given audio input, these models have the potential to enable a variety of music understanding tasks via language-based interfaces. However, their evaluation poses considerable challenges, and it remains unclear how to effectively assess their ability to correctly interpret music-related inputs with current methods. Motivated by this, we introduce MuChoMusic, a benchmark for evaluating music understanding in multimodal language models focused on audio. MuChoMusic comprises 1,187 multiple-choice questions, all validated by human annotators, on 644 music tracks sourced from two publicly available music datasets, and covering a wide variety of genres. Questions in the benchmark are crafted to assess knowledge and reasoning abilities across several dimensions that cover fundamental musical concepts and their relation to cultural and functional contexts. Through the holistic analysis afforded by the benchmark, we evaluate five open-source models and identify several pitfalls, including an over-reliance on the language modality, pointing to a need for better multimodal integration. Data and code are open-sourced.