MusiXQA：マルチモーダル大規模言語モデルにおける視覚的音楽理解の進展

要旨

マルチモーダル大規模言語モデル（MLLMs）は、自然画像、テキスト豊富な文書、およびグラフィックデザインにおいて、顕著な視覚的推論能力を達成してきた。しかし、楽譜の解釈能力については未だ十分に探求されていない。このギャップを埋めるため、我々はMusiXQAを導入する。これは、楽譜理解におけるMLLMsの評価と進展を目的とした初の包括的なデータセットである。MusiXQAは、MusiXTeXを介して生成された高品質の合成楽譜を特徴とし、音符の音高と長さ、和音、音部記号、調号/拍子記号、およびテキストをカバーする構造化されたアノテーションを備えており、多様な視覚的質問応答タスクを可能にする。広範な評価を通じて、我々はこの領域における現在の最先端MLLMsの重大な限界を明らかにした。ベンチマークを超えて、我々はPhi-3-MusiXを開発した。これは、我々のデータセットでファインチューニングされたMLLMであり、GPTベースの手法を大幅に上回る性能向上を達成した。提案されたデータセットとモデルは、楽譜理解のためのMLLMsの将来の進展の基盤を確立する。コード、データ、およびモデルは、受理後に公開される予定である。

English

Multimodal Large Language Models (MLLMs) have achieved remarkable visual reasoning abilities in natural images, text-rich documents, and graphic designs. However, their ability to interpret music sheets remains underexplored. To bridge this gap, we introduce MusiXQA, the first comprehensive dataset for evaluating and advancing MLLMs in music sheet understanding. MusiXQA features high-quality synthetic music sheets generated via MusiXTeX, with structured annotations covering note pitch and duration, chords, clefs, key/time signatures, and text, enabling diverse visual QA tasks. Through extensive evaluations, we reveal significant limitations of current state-of-the-art MLLMs in this domain. Beyond benchmarking, we developed Phi-3-MusiX, an MLLM fine-tuned on our dataset, achieving significant performance gains over GPT-based methods. The proposed dataset and model establish a foundation for future advances in MLLMs for music sheet understanding. Code, data, and model will be released upon acceptance.

MusiXQA：マルチモーダル大規模言語モデルにおける視覚的音楽理解の進展

MusiXQA: Advancing Visual Music Understanding in Multimodal Large Language Models

要旨

Support