MuSViT: 악보 표현을 위한 기반 비전 모델

초록

기반 모델은 다양한 과제에 전이 가능한 풍부하고 재사용 가능한 표현을 제공함으로써 비전 및 언어 처리를 혁신해 왔다. 음악 언어의 시각적 인코딩인 악보는 이러한 강력한 도메인 특화 백본이 부족하다. 우리는 MuSViT(악보 비전 트랜스포머)을 소개한다: IMSLP의 970만 페이지에서 Masked Autoencoder를 통해 사전 훈련된 ViT 인코더로, 악보 표현을 위한 최초의 기반 비전 모델이다. 실제 악보의 복잡성을 처리하기 위해 우리는 2단계 커리큘럼을 채택한다: 조판 악보에 대한 합성 워밍업 후 전체 IMSLP 코퍼스에 대한 대규모 훈련으로 구성된다. 우리는 네 가지 다운스트림 작업(전체 페이지 및 오선 단위 악보 인식, 음악 기호 검출, 악보 난이도 분류)에서 두 가지 시나리오(선형 프로빙(고정 인코더) 및 미세 조정)로 MuSViT을 평가한다. 선형 프로빙에서 MuSViT은 현대 비전 인코더보다 일관되게 우수한 성능을 보이며, 규모에 관계없이 범용 표현이 악보의 구조적 기호 특성에서 체계적으로 부족함을 드러낸다. 미세 조정에서 MuSViT은 일반적으로 작업별 최첨단 방법보다 성능을 향상시킨다. 추가적인 임베딩-전사 일관성 분석은 MuSViT이 기호 음악 구조를 표현 공간에 직접 인코딩함을 보여주며, 이는 다른 인코더의 임베딩이 악보 내용과 상관관계가 없는 것과 대조적이다. 이러한 결과는 MuSViT을 악보 이해를 위한 기반 백본으로 확립한다.

English

Foundation models have transformed vision and language processing by providing rich, reusable representations that transfer across diverse tasks. Sheet music, as a visual encoding of musical language, lacks such a strong domain-specific backbone. We introduce MuSViT (Music Score Vision Transformer): the first foundation vision model for sheet music representation -- a ViT encoder pre-trained via Masked Autoencoders on 9.7 million pages from the IMSLP. To handle the complexity of real-world scores, we adopt a two-stage curriculum: a synthetic warm-up on typeset scores followed by large-scale training on the full IMSLP corpus. We evaluate MuSViT on four downstream tasks -- full-page and staff-level music score recognition, music symbol detection, and score difficulty classification -- under two scenarios: linear probing (frozen encoder) and fine-tuning. Under linear probing, MuSViT consistently outperforms modern vision encoders, revealing that general-purpose representations, regardless of scale, fall systematically short on the structured symbolic properties of musical notation. Under fine-tuning, MuSViT generally improves upon task-specific state-of-the-art methods. An additional embedding-transcription consistency analysis reveals that MuSViT encodes symbolic musical structure directly in its representation space -- unlike other encoders, whose embeddings do not correlate with music notation content. These results establish MuSViT as a foundation backbone for sheet music understanding.