MusiXQA: Progressi nella comprensione visiva della musica nei modelli linguistici multimodali di grandi dimensioni

MusiXQA: Advancing Visual Music Understanding in Multimodal Large Language Models

June 28, 2025

Autori: Jian Chen, Wenye Ma, Penghang Liu, Wei Wang, Tengwei Song, Ming Li, Chenguang Wang, Ruiyi Zhang, Changyou Chen

cs.AI

Abstract

I Modelli Linguistici Multimodali di Grande Dimensione (MLLMs) hanno dimostrato notevoli capacità di ragionamento visivo su immagini naturali, documenti ricchi di testo e design grafici. Tuttavia, la loro capacità di interpretare spartiti musicali rimane poco esplorata. Per colmare questa lacuna, introduciamo MusiXQA, il primo dataset completo per valutare e far progredire gli MLLMs nella comprensione degli spartiti. MusiXQA presenta spartiti sintetici di alta qualità generati tramite MusiXTeX, con annotazioni strutturate che coprono altezza e durata delle note, accordi, chiavi, indicazioni di tempo e testo, consentendo una varietà di task di domanda-risposta visiva. Attraverso valutazioni estensive, riveliamo significative limitazioni degli attuali MLLMs all'avanguardia in questo dominio. Oltre al benchmarking, abbiamo sviluppato Phi-3-MusiX, un MLLM addestrato sul nostro dataset, ottenendo miglioramenti significativi rispetto ai metodi basati su GPT. Il dataset e il modello proposti gettano le basi per futuri progressi negli MLLMs nella comprensione degli spartiti. Codice, dati e modello saranno rilasciati al momento dell'accettazione.

English

Multimodal Large Language Models (MLLMs) have achieved remarkable visual reasoning abilities in natural images, text-rich documents, and graphic designs. However, their ability to interpret music sheets remains underexplored. To bridge this gap, we introduce MusiXQA, the first comprehensive dataset for evaluating and advancing MLLMs in music sheet understanding. MusiXQA features high-quality synthetic music sheets generated via MusiXTeX, with structured annotations covering note pitch and duration, chords, clefs, key/time signatures, and text, enabling diverse visual QA tasks. Through extensive evaluations, we reveal significant limitations of current state-of-the-art MLLMs in this domain. Beyond benchmarking, we developed Phi-3-MusiX, an MLLM fine-tuned on our dataset, achieving significant performance gains over GPT-based methods. The proposed dataset and model establish a foundation for future advances in MLLMs for music sheet understanding. Code, data, and model will be released upon acceptance.