MuChoMusic: Valutazione della comprensione musicale nei modelli multimodali audio-linguistici

MuChoMusic: Evaluating Music Understanding in Multimodal Audio-Language Models

August 2, 2024

Autori: Benno Weck, Ilaria Manco, Emmanouil Benetos, Elio Quinton, George Fazekas, Dmitry Bogdanov

cs.AI

Abstract

I modelli multimodali che elaborano congiuntamente audio e linguaggio offrono grandi potenzialità nella comprensione audio e stanno trovando un crescente impiego nel dominio musicale. Consentendo agli utenti di effettuare query tramite testo e ottenere informazioni su un determinato input audio, questi modelli hanno il potenziale di abilitare una varietà di attività di comprensione musicale attraverso interfacce basate sul linguaggio. Tuttavia, la loro valutazione presenta notevoli sfide, e non è ancora chiaro come valutare efficacemente la loro capacità di interpretare correttamente input legati alla musica con i metodi attuali. Motivati da ciò, introduciamo MuChoMusic, un benchmark per valutare la comprensione musicale nei modelli linguistici multimodali focalizzati sull'audio. MuChoMusic comprende 1.187 domande a scelta multipla, tutte validate da annotatori umani, su 644 brani musicali provenienti da due dataset musicali pubblicamente disponibili, e copre una vasta gamma di generi. Le domande nel benchmark sono progettate per valutare conoscenze e capacità di ragionamento attraverso diverse dimensioni che coprono concetti musicali fondamentali e la loro relazione con contesti culturali e funzionali. Attraverso l'analisi olistica offerta dal benchmark, valutiamo cinque modelli open-source e identifichiamo diverse criticità, tra cui un'eccessiva dipendenza dalla modalità linguistica, indicando la necessità di una migliore integrazione multimodale. Dati e codice sono resi disponibili in open source.

English

Multimodal models that jointly process audio and language hold great promise in audio understanding and are increasingly being adopted in the music domain. By allowing users to query via text and obtain information about a given audio input, these models have the potential to enable a variety of music understanding tasks via language-based interfaces. However, their evaluation poses considerable challenges, and it remains unclear how to effectively assess their ability to correctly interpret music-related inputs with current methods. Motivated by this, we introduce MuChoMusic, a benchmark for evaluating music understanding in multimodal language models focused on audio. MuChoMusic comprises 1,187 multiple-choice questions, all validated by human annotators, on 644 music tracks sourced from two publicly available music datasets, and covering a wide variety of genres. Questions in the benchmark are crafted to assess knowledge and reasoning abilities across several dimensions that cover fundamental musical concepts and their relation to cultural and functional contexts. Through the holistic analysis afforded by the benchmark, we evaluate five open-source models and identify several pitfalls, including an over-reliance on the language modality, pointing to a need for better multimodal integration. Data and code are open-sourced.