MusiXQA: Fortschritte im visuellen Musikverständnis in multimodalen großen Sprachmodellen

MusiXQA: Advancing Visual Music Understanding in Multimodal Large Language Models

June 28, 2025

Autoren: Jian Chen, Wenye Ma, Penghang Liu, Wei Wang, Tengwei Song, Ming Li, Chenguang Wang, Ruiyi Zhang, Changyou Chen

cs.AI

Zusammenfassung

Multimodale Large Language Models (MLLMs) haben bemerkenswerte Fähigkeiten im visuellen Denken bei natürlichen Bildern, textreichen Dokumenten und grafischen Designs erreicht. Ihre Fähigkeit, Musiknotenblätter zu interpretieren, bleibt jedoch weitgehend unerforscht. Um diese Lücke zu schließen, stellen wir MusiXQA vor, den ersten umfassenden Datensatz zur Bewertung und Weiterentwicklung von MLLMs im Verständnis von Musiknotenblättern. MusiXQA umfasst hochwertige synthetische Musiknotenblätter, die mit MusiXTeX erzeugt wurden, sowie strukturierte Annotationen, die Notenhöhe und -dauer, Akkorde, Notenschlüssel, Tonart- und Taktangaben sowie Text abdecken, wodurch vielfältige visuelle Frage-Antwort-Aufgaben ermöglicht werden. Durch umfangreiche Evaluierungen zeigen wir erhebliche Einschränkungen der derzeit besten MLLMs in diesem Bereich auf. Über die Bewertung hinaus haben wir Phi-3-MusiX entwickelt, ein MLLM, das auf unserem Datensatz feinabgestimmt wurde und signifikante Leistungssteigerungen gegenüber GPT-basierten Methoden erzielt. Der vorgeschlagene Datensatz und das Modell bilden die Grundlage für zukünftige Fortschritte bei MLLMs im Verständnis von Musiknotenblättern. Code, Daten und Modell werden nach der Annahme veröffentlicht.

English

Multimodal Large Language Models (MLLMs) have achieved remarkable visual reasoning abilities in natural images, text-rich documents, and graphic designs. However, their ability to interpret music sheets remains underexplored. To bridge this gap, we introduce MusiXQA, the first comprehensive dataset for evaluating and advancing MLLMs in music sheet understanding. MusiXQA features high-quality synthetic music sheets generated via MusiXTeX, with structured annotations covering note pitch and duration, chords, clefs, key/time signatures, and text, enabling diverse visual QA tasks. Through extensive evaluations, we reveal significant limitations of current state-of-the-art MLLMs in this domain. Beyond benchmarking, we developed Phi-3-MusiX, an MLLM fine-tuned on our dataset, achieving significant performance gains over GPT-based methods. The proposed dataset and model establish a foundation for future advances in MLLMs for music sheet understanding. Code, data, and model will be released upon acceptance.