MuSViT: Un modelo de visión fundacional para la representación de partituras

Resumen

Los modelos fundacionales han transformado el procesamiento de visión y lenguaje al proporcionar representaciones ricas y reutilizables que se transfieren a diversas tareas. La partitura musical, como codificación visual del lenguaje musical, carece de un modelo base sólido específico para este dominio. Presentamos MuSViT (Music Score Vision Transformer): el primer modelo fundacional de visión para la representación de partituras musicales: un codificador ViT preentrenado mediante Autoencoders Enmascarados en 9.7 millones de páginas del IMSLP. Para manejar la complejidad de las partituras del mundo real, adoptamos un currículo de dos etapas: un calentamiento sintético con partituras editadas tipográficamente, seguido de un entrenamiento a gran escala en el corpus completo de IMSLP. Evaluamos MuSViT en cuatro tareas posteriores: reconocimiento de partituras a nivel de página y de pentagrama, detección de símbolos musicales y clasificación de dificultad de la partitura, bajo dos escenarios: sonda lineal (codificador congelado) y ajuste fino. Con sonda lineal, MuSViT supera consistentemente a los codificadores de visión modernos, revelando que las representaciones de propósito general, independientemente de su escala, presentan deficiencias sistemáticas frente a las propiedades simbólicas estructuradas de la notación musical. Con ajuste fino, MuSViT generalmente mejora los métodos de vanguardia específicos de cada tarea. Un análisis adicional de consistencia entre incrustaciones y transcripciones revela que MuSViT codifica directamente la estructura musical simbólica en su espacio de representación, a diferencia de otros codificadores cuyas incrustaciones no se correlacionan con el contenido de la notación musical. Estos resultados establecen a MuSViT como un modelo base fundacional para la comprensión de partituras musicales.

English

Foundation models have transformed vision and language processing by providing rich, reusable representations that transfer across diverse tasks. Sheet music, as a visual encoding of musical language, lacks such a strong domain-specific backbone. We introduce MuSViT (Music Score Vision Transformer): the first foundation vision model for sheet music representation -- a ViT encoder pre-trained via Masked Autoencoders on 9.7 million pages from the IMSLP. To handle the complexity of real-world scores, we adopt a two-stage curriculum: a synthetic warm-up on typeset scores followed by large-scale training on the full IMSLP corpus. We evaluate MuSViT on four downstream tasks -- full-page and staff-level music score recognition, music symbol detection, and score difficulty classification -- under two scenarios: linear probing (frozen encoder) and fine-tuning. Under linear probing, MuSViT consistently outperforms modern vision encoders, revealing that general-purpose representations, regardless of scale, fall systematically short on the structured symbolic properties of musical notation. Under fine-tuning, MuSViT generally improves upon task-specific state-of-the-art methods. An additional embedding-transcription consistency analysis reveals that MuSViT encodes symbolic musical structure directly in its representation space -- unlike other encoders, whose embeddings do not correlate with music notation content. These results establish MuSViT as a foundation backbone for sheet music understanding.