MusiXQA: Avanzando en la Comprensión Visual de la Música en Modelos de Lenguaje Multimodales a Gran Escala

MusiXQA: Advancing Visual Music Understanding in Multimodal Large Language Models

June 28, 2025

Autores: Jian Chen, Wenye Ma, Penghang Liu, Wei Wang, Tengwei Song, Ming Li, Chenguang Wang, Ruiyi Zhang, Changyou Chen

cs.AI

Resumen

Los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés) han logrado capacidades notables de razonamiento visual en imágenes naturales, documentos ricos en texto y diseños gráficos. Sin embargo, su habilidad para interpretar partituras musicales sigue siendo poco explorada. Para cerrar esta brecha, presentamos MusiXQA, el primer conjunto de datos integral para evaluar y avanzar en la comprensión de partituras por parte de los MLLMs. MusiXQA incluye partituras sintéticas de alta calidad generadas mediante MusiXTeX, con anotaciones estructuradas que abarcan la altura y duración de las notas, acordes, claves, indicaciones de compás y texto, permitiendo diversas tareas de preguntas y respuestas visuales. A través de evaluaciones exhaustivas, revelamos limitaciones significativas de los MLLMs más avanzados actualmente en este dominio. Más allá de la evaluación comparativa, desarrollamos Phi-3-MusiX, un MLLM ajustado en nuestro conjunto de datos, logrando mejoras significativas en el rendimiento sobre métodos basados en GPT. El conjunto de datos y el modelo propuestos establecen una base para futuros avances en los MLLMs para la comprensión de partituras. El código, los datos y el modelo se publicarán tras su aceptación.

English

Multimodal Large Language Models (MLLMs) have achieved remarkable visual reasoning abilities in natural images, text-rich documents, and graphic designs. However, their ability to interpret music sheets remains underexplored. To bridge this gap, we introduce MusiXQA, the first comprehensive dataset for evaluating and advancing MLLMs in music sheet understanding. MusiXQA features high-quality synthetic music sheets generated via MusiXTeX, with structured annotations covering note pitch and duration, chords, clefs, key/time signatures, and text, enabling diverse visual QA tasks. Through extensive evaluations, we reveal significant limitations of current state-of-the-art MLLMs in this domain. Beyond benchmarking, we developed Phi-3-MusiX, an MLLM fine-tuned on our dataset, achieving significant performance gains over GPT-based methods. The proposed dataset and model establish a foundation for future advances in MLLMs for music sheet understanding. Code, data, and model will be released upon acceptance.