MuChoMusic: Evaluierung der Musikverständnis in multimodalen Audio-Sprach-Modellen

MuChoMusic: Evaluating Music Understanding in Multimodal Audio-Language Models

August 2, 2024

Autoren: Benno Weck, Ilaria Manco, Emmanouil Benetos, Elio Quinton, George Fazekas, Dmitry Bogdanov

cs.AI

Zusammenfassung

Multimodale Modelle, die gleichzeitig Audio und Sprache verarbeiten, versprechen eine große Leistungsfähigkeit im Audiobereich und werden zunehmend im Musikbereich eingesetzt. Indem sie es Benutzern ermöglichen, über Text Abfragen zu stellen und Informationen zu einem bestimmten Audioeingang zu erhalten, haben diese Modelle das Potenzial, eine Vielzahl von Musikverständnis-Aufgaben über sprachbasierte Schnittstellen zu ermöglichen. Die Bewertung dieser Modelle stellt jedoch erhebliche Herausforderungen dar, und es ist unklar, wie ihre Fähigkeit, Musik-bezogene Eingaben korrekt zu interpretieren, effektiv mit aktuellen Methoden bewertet werden kann. Aus diesem Grund stellen wir MuChoMusic vor, einen Benchmark zur Bewertung des Musikverständnisses in multimodalen Sprachmodellen, die sich auf Audio konzentrieren. MuChoMusic umfasst 1.187 Multiple-Choice-Fragen, alle validiert von menschlichen Annotatoren, zu 644 Musiktiteln aus zwei öffentlich verfügbaren Musikdatensätzen und deckt eine Vielzahl von Genres ab. Die Fragen im Benchmark sind so konzipiert, dass sie Wissen und Denkfähigkeiten über mehrere Dimensionen hinweg bewerten, die grundlegende musikalische Konzepte und deren Beziehung zu kulturellen und funktionalen Kontexten abdecken. Durch die ganzheitliche Analyse, die der Benchmark ermöglicht, bewerten wir fünf Open-Source-Modelle und identifizieren mehrere Fallstricke, darunter eine übermäßige Abhängigkeit von der Sprachmodalität, was auf eine Notwendigkeit für eine bessere multimodale Integration hinweist. Die Daten und der Code sind Open Source.

English

Multimodal models that jointly process audio and language hold great promise in audio understanding and are increasingly being adopted in the music domain. By allowing users to query via text and obtain information about a given audio input, these models have the potential to enable a variety of music understanding tasks via language-based interfaces. However, their evaluation poses considerable challenges, and it remains unclear how to effectively assess their ability to correctly interpret music-related inputs with current methods. Motivated by this, we introduce MuChoMusic, a benchmark for evaluating music understanding in multimodal language models focused on audio. MuChoMusic comprises 1,187 multiple-choice questions, all validated by human annotators, on 644 music tracks sourced from two publicly available music datasets, and covering a wide variety of genres. Questions in the benchmark are crafted to assess knowledge and reasoning abilities across several dimensions that cover fundamental musical concepts and their relation to cultural and functional contexts. Through the holistic analysis afforded by the benchmark, we evaluate five open-source models and identify several pitfalls, including an over-reliance on the language modality, pointing to a need for better multimodal integration. Data and code are open-sourced.