MusiXQA: Развитие визуального понимания музыки в мультимодальных больших языковых моделях
MusiXQA: Advancing Visual Music Understanding in Multimodal Large Language Models
June 28, 2025
Авторы: Jian Chen, Wenye Ma, Penghang Liu, Wei Wang, Tengwei Song, Ming Li, Chenguang Wang, Ruiyi Zhang, Changyou Chen
cs.AI
Аннотация
Мультимодальные крупные языковые модели (MLLMs) продемонстрировали выдающиеся способности к визуальному анализу в области естественных изображений, текстовых документов и графического дизайна. Однако их способность интерпретировать нотные записи остается недостаточно изученной. Чтобы восполнить этот пробел, мы представляем MusiXQA — первый всеобъемлющий набор данных для оценки и развития MLLMs в области понимания нотных записей. MusiXQA включает высококачественные синтетические нотные листы, созданные с помощью MusiXTeX, с структурированными аннотациями, охватывающими высоту и длительность нот, аккорды, ключи, ключевые и размерные обозначения, а также текст, что позволяет выполнять разнообразные задачи визуального вопросно-ответного анализа. В ходе обширных экспериментов мы выявили значительные ограничения современных передовых MLLMs в этой области. Помимо бенчмаркинга, мы разработали Phi-3-MusiX — MLLM, дообученную на нашем наборе данных, которая демонстрирует значительное улучшение производительности по сравнению с методами на основе GPT. Предложенные набор данных и модель закладывают основу для будущих достижений в области MLLMs для понимания нотных записей. Код, данные и модель будут опубликованы после принятия работы.
English
Multimodal Large Language Models (MLLMs) have achieved remarkable visual
reasoning abilities in natural images, text-rich documents, and graphic
designs. However, their ability to interpret music sheets remains
underexplored. To bridge this gap, we introduce MusiXQA, the first
comprehensive dataset for evaluating and advancing MLLMs in music sheet
understanding. MusiXQA features high-quality synthetic music sheets generated
via MusiXTeX, with structured annotations covering note pitch and duration,
chords, clefs, key/time signatures, and text, enabling diverse visual QA tasks.
Through extensive evaluations, we reveal significant limitations of current
state-of-the-art MLLMs in this domain. Beyond benchmarking, we developed
Phi-3-MusiX, an MLLM fine-tuned on our dataset, achieving significant
performance gains over GPT-based methods. The proposed dataset and model
establish a foundation for future advances in MLLMs for music sheet
understanding. Code, data, and model will be released upon acceptance.