MuSViT : un modèle de vision fondation pour la représentation de partitions musicales

Résumé

Les modèles fondation ont transformé le traitement de la vision et du langage en offrant des représentations riches et réutilisables qui se transfèrent à diverses tâches. La partition musicale, en tant qu’encodage visuel du langage musical, ne dispose pas d’un tel socle solide spécifique à son domaine. Nous présentons MuSViT (Music Score Vision Transformer) : le premier modèle de vision fondation pour la représentation des partitions musicales — un encodeur ViT pré-entraîné via des autoencodeurs masqués sur 9,7 millions de pages provenant de l’IMSLP. Pour gérer la complexité des partitions réelles, nous adoptons un cursus en deux étapes : un échauffement synthétique sur des partitions gravées, suivi d’un entraînement à grande échelle sur l’ensemble du corpus IMSLP. Nous évaluons MuSViT sur quatre tâches aval — reconnaissance de partitions pleine page et par portée, détection de symboles musicaux et classification de la difficulté des partitions — selon deux scénarios : sondage linéaire (encodeur figé) et ajustement fin. En sondage linéaire, MuSViT surpasse systématiquement les encodeurs de vision modernes, révélant que les représentations généralistes, quelle que soit leur échelle, sont systématiquement insuffisantes face aux propriétés symboliques structurées de la notation musicale. En ajustement fin, MuSViT améliore généralement les méthodes de pointe spécifiques aux tâches. Une analyse supplémentaire de cohérence entre plongement et transcription montre que MuSViT encode directement la structure musicale symbolique dans son espace de représentation — contrairement à d’autres encodeurs dont les plongements ne corrèlent pas avec le contenu de la notation musicale. Ces résultats établissent MuSViT comme un socle fondation pour la compréhension des partitions musicales.

English

Foundation models have transformed vision and language processing by providing rich, reusable representations that transfer across diverse tasks. Sheet music, as a visual encoding of musical language, lacks such a strong domain-specific backbone. We introduce MuSViT (Music Score Vision Transformer): the first foundation vision model for sheet music representation -- a ViT encoder pre-trained via Masked Autoencoders on 9.7 million pages from the IMSLP. To handle the complexity of real-world scores, we adopt a two-stage curriculum: a synthetic warm-up on typeset scores followed by large-scale training on the full IMSLP corpus. We evaluate MuSViT on four downstream tasks -- full-page and staff-level music score recognition, music symbol detection, and score difficulty classification -- under two scenarios: linear probing (frozen encoder) and fine-tuning. Under linear probing, MuSViT consistently outperforms modern vision encoders, revealing that general-purpose representations, regardless of scale, fall systematically short on the structured symbolic properties of musical notation. Under fine-tuning, MuSViT generally improves upon task-specific state-of-the-art methods. An additional embedding-transcription consistency analysis reveals that MuSViT encodes symbolic musical structure directly in its representation space -- unlike other encoders, whose embeddings do not correlate with music notation content. These results establish MuSViT as a foundation backbone for sheet music understanding.