MuSViT: Фундаментальная модель зрения для представления нотной записи

Аннотация

Фундаментальные модели преобразили обработку изображений и языка, обеспечивая богатые, многократно используемые представления, переносимые на разнообразные задачи. Нотная запись, как визуальное кодирование музыкального языка, не имеет столь мощной предметно-ориентированной базовой архитектуры. Мы представляем MuSViT (Music Score Vision Transformer): первую фундаментальную модель компьютерного зрения для представления нотных знаков — кодировщик ViT, предварительно обученный с помощью маскированных автоэнкодеров на 9,7 миллиона страниц из IMSLP. Чтобы справиться со сложностью реальных партитур, мы применяем двухэтапный учебный план: синтетическая разминка на набранных партитурах с последующим масштабным обучением на полном корпусе IMSLP. Мы оцениваем MuSViT на четырех последующих задачах — распознавание нотной записи на уровне страницы и на уровне строк нотоносца, обнаружение музыкальных символов и классификация сложности партитуры — в двух сценариях: линейное зондирование (замороженный кодировщик) и тонкая настройка. При линейном зондировании MuSViT последовательно превосходит современные кодировщики зрения, показывая, что универсальные представления, независимо от масштаба, систематически не достигают структурированных символических свойств музыкальной нотации. При тонкой настройке MuSViT в целом улучшает специализированные методы, достигшие современного уровня. Дополнительный анализ согласованности эмбеддингов и транскрипций показывает, что MuSViT кодирует символическую музыкальную структуру непосредственно в своем пространстве представлений — в отличие от других кодировщиков, чьи эмбеддинги не коррелируют с содержанием нотной записи. Эти результаты утверждают MuSViT в качестве фундаментального каркаса для понимания нотной записи.

English

Foundation models have transformed vision and language processing by providing rich, reusable representations that transfer across diverse tasks. Sheet music, as a visual encoding of musical language, lacks such a strong domain-specific backbone. We introduce MuSViT (Music Score Vision Transformer): the first foundation vision model for sheet music representation -- a ViT encoder pre-trained via Masked Autoencoders on 9.7 million pages from the IMSLP. To handle the complexity of real-world scores, we adopt a two-stage curriculum: a synthetic warm-up on typeset scores followed by large-scale training on the full IMSLP corpus. We evaluate MuSViT on four downstream tasks -- full-page and staff-level music score recognition, music symbol detection, and score difficulty classification -- under two scenarios: linear probing (frozen encoder) and fine-tuning. Under linear probing, MuSViT consistently outperforms modern vision encoders, revealing that general-purpose representations, regardless of scale, fall systematically short on the structured symbolic properties of musical notation. Under fine-tuning, MuSViT generally improves upon task-specific state-of-the-art methods. An additional embedding-transcription consistency analysis reveals that MuSViT encodes symbolic musical structure directly in its representation space -- unlike other encoders, whose embeddings do not correlate with music notation content. These results establish MuSViT as a foundation backbone for sheet music understanding.