MuSViT: Ein Foundation-Vision-Modell für die Repräsentation von Notenblättern

Zusammenfassung

Grundlagenmodelle haben die Bild- und Sprachverarbeitung revolutioniert, indem sie reichhaltige, wiederverwendbare Repräsentationen bereitstellen, die auf verschiedene Aufgaben übertragbar sind. Notenblätter als visuelle Kodierung der musikalischen Sprache entbehren eines solch starken domänenspezifischen Backbones. Wir stellen MuSViT (Music Score Vision Transformer) vor: das erste grundlegende Bildverarbeitungsmodell für die Repräsentation von Notenblättern – ein ViT-Encoder, der mittels Maskierter Autoencoder auf 9,7 Millionen Seiten aus dem IMSLP vortrainiert wurde. Um der Komplexität realer Partituren gerecht zu werden, verfolgen wir ein zweistufiges Curriculum: ein synthetisches Aufwärmtraining an gesetzten Partituren, gefolgt von einem großangelegten Training auf dem gesamten IMSLP-Korpus. Wir evaluieren MuSViT an vier nachgelagerten Aufgaben – der Erkennung von Notenseiten und Einzelsystemen, der Erkennung von Musiksymbolen und der Klassifizierung des Schwierigkeitsgrads – unter zwei Szenarien: linearem Sondieren (eingefrorener Encoder) und Feinabstimmung. Beim linearen Sondieren übertrifft MuSViT konsequent moderne Bild-Encoder, was zeigt, dass allgemeine Repräsentationen unabhängig vom Maßstab bei den strukturierten symbolischen Eigenschaften der musikalischen Notation systematisch zu kurz kommen. Bei der Feinabstimmung verbessert MuSViT in der Regel die aufgabenspezifischen Methoden des Stands der Technik. Eine zusätzliche Analyse der Konsistenz von Einbettungen und Transkriptionen offenbart, dass MuSViT die symbolische musikalische Struktur direkt in seinem Repräsentationsraum kodiert – im Gegensatz zu anderen Encodern, deren Einbettungen nicht mit dem Inhalt der Notenschrift korrelieren. Diese Ergebnisse etablieren MuSViT als grundlegendes Backbone für das Verständnis von Notenblättern.

English

Foundation models have transformed vision and language processing by providing rich, reusable representations that transfer across diverse tasks. Sheet music, as a visual encoding of musical language, lacks such a strong domain-specific backbone. We introduce MuSViT (Music Score Vision Transformer): the first foundation vision model for sheet music representation -- a ViT encoder pre-trained via Masked Autoencoders on 9.7 million pages from the IMSLP. To handle the complexity of real-world scores, we adopt a two-stage curriculum: a synthetic warm-up on typeset scores followed by large-scale training on the full IMSLP corpus. We evaluate MuSViT on four downstream tasks -- full-page and staff-level music score recognition, music symbol detection, and score difficulty classification -- under two scenarios: linear probing (frozen encoder) and fine-tuning. Under linear probing, MuSViT consistently outperforms modern vision encoders, revealing that general-purpose representations, regardless of scale, fall systematically short on the structured symbolic properties of musical notation. Under fine-tuning, MuSViT generally improves upon task-specific state-of-the-art methods. An additional embedding-transcription consistency analysis reveals that MuSViT encodes symbolic musical structure directly in its representation space -- unlike other encoders, whose embeddings do not correlate with music notation content. These results establish MuSViT as a foundation backbone for sheet music understanding.