MuChoMusic: Оценка понимания музыки в мультимодальных аудио-языковых моделях

MuChoMusic: Evaluating Music Understanding in Multimodal Audio-Language Models

August 2, 2024

Авторы: Benno Weck, Ilaria Manco, Emmanouil Benetos, Elio Quinton, George Fazekas, Dmitry Bogdanov

cs.AI

Аннотация

Мультимодельные модели, которые совместно обрабатывают аудио и язык, обладают большим потенциалом в понимании звука и все более широко применяются в музыкальной сфере. Позволяя пользователям делать запросы по тексту и получать информацию о заданном аудиовходе, эти модели имеют потенциал для выполнения различных задач по пониманию музыки через языковые интерфейсы. Однако их оценка представляет существенные трудности, и остается неясным, как эффективно оценить их способность правильно интерпретировать музыкальные входы с использованием текущих методов. Вдохновленные этим, мы представляем MuChoMusic, бенчмарк для оценки понимания музыки в мультимодельных языковых моделях, сосредоточенных на аудио. MuChoMusic включает 1,187 вопросов с выбором ответа, все проверенные человеческими аннотаторами, на 644 музыкальных треках из двух общедоступных наборов данных по музыке и охватывает широкий спектр жанров. Вопросы в бенчмарке разработаны для оценки знаний и умений рассуждения по нескольким измерениям, охватывающим фундаментальные музыкальные концепции и их отношение к культурным и функциональным контекстам. Через всесторонний анализ, предоставленный бенчмарком, мы оцениваем пять моделей с открытым исходным кодом и выявляем несколько проблем, включая чрезмерную зависимость от языковой модальности, указывая на необходимость лучшей мультимодальной интеграции. Данные и код открыты для использования.

English

Multimodal models that jointly process audio and language hold great promise in audio understanding and are increasingly being adopted in the music domain. By allowing users to query via text and obtain information about a given audio input, these models have the potential to enable a variety of music understanding tasks via language-based interfaces. However, their evaluation poses considerable challenges, and it remains unclear how to effectively assess their ability to correctly interpret music-related inputs with current methods. Motivated by this, we introduce MuChoMusic, a benchmark for evaluating music understanding in multimodal language models focused on audio. MuChoMusic comprises 1,187 multiple-choice questions, all validated by human annotators, on 644 music tracks sourced from two publicly available music datasets, and covering a wide variety of genres. Questions in the benchmark are crafted to assess knowledge and reasoning abilities across several dimensions that cover fundamental musical concepts and their relation to cultural and functional contexts. Through the holistic analysis afforded by the benchmark, we evaluate five open-source models and identify several pitfalls, including an over-reliance on the language modality, pointing to a need for better multimodal integration. Data and code are open-sourced.