MuChoMusic: 다중 모달 오디오-언어 모델에서 음악 이해 평가

MuChoMusic: Evaluating Music Understanding in Multimodal Audio-Language Models

August 2, 2024

저자: Benno Weck, Ilaria Manco, Emmanouil Benetos, Elio Quinton, George Fazekas, Dmitry Bogdanov

cs.AI

초록

음성과 언어를 공동으로 처리하는 다중 모달 모델은 음악 분야에서 큰 가능성을 가지고 있으며 점차 채택되고 있습니다. 텍스트를 통한 쿼리를 허용하고 주어진 오디오 입력에 대한 정보를 얻을 수 있도록 함으로써, 이러한 모델은 언어 기반 인터페이스를 통해 다양한 음악 이해 작업을 가능하게 할 수 있습니다. 그러나 이러한 모델의 평가는 상당한 어려움을 안겨주며, 현재의 방법으로 음악 관련 입력을 올바르게 해석하는 능력을 효과적으로 평가하는 방법은 여전히 명확하지 않습니다. 이에 동기부여를 받아 우리는 오디오에 초점을 맞춘 다중 모달 언어 모델에서 음악 이해를 평가하기 위한 벤치마크인 MuChoMusic을 소개합니다. MuChoMusic은 두 개의 공개 음악 데이터셋에서 가져온 644개 음악 트랙에 대한 1,187개의 다중 선택 질문으로 이루어져 있으며 모든 질문은 인간 주석자들에 의해 검증되었습니다. 이 벤치마크의 질문들은 문화적 및 기능적 맥락과 관련된 기본적인 음악 개념과 그들의 관계를 포함하는 여러 차원을 걸쳐 지식과 추론 능력을 평가하기 위해 설계되었습니다. 벤치마크에 의해 제공되는 종합적 분석을 통해 우리는 다섯 개의 오픈 소스 모델을 평가하고, 언어 모달리티에 대한 과도한 의존과 같은 여러 문제점을 식별하며, 더 나은 다중 모달 통합이 필요함을 지적합니다. 데이터와 코드는 오픈 소스로 공개되어 있습니다.

English

Multimodal models that jointly process audio and language hold great promise in audio understanding and are increasingly being adopted in the music domain. By allowing users to query via text and obtain information about a given audio input, these models have the potential to enable a variety of music understanding tasks via language-based interfaces. However, their evaluation poses considerable challenges, and it remains unclear how to effectively assess their ability to correctly interpret music-related inputs with current methods. Motivated by this, we introduce MuChoMusic, a benchmark for evaluating music understanding in multimodal language models focused on audio. MuChoMusic comprises 1,187 multiple-choice questions, all validated by human annotators, on 644 music tracks sourced from two publicly available music datasets, and covering a wide variety of genres. Questions in the benchmark are crafted to assess knowledge and reasoning abilities across several dimensions that cover fundamental musical concepts and their relation to cultural and functional contexts. Through the holistic analysis afforded by the benchmark, we evaluate five open-source models and identify several pitfalls, including an over-reliance on the language modality, pointing to a need for better multimodal integration. Data and code are open-sourced.