MERT : Modèle de compréhension de la musique acoustique avec un entraînement auto-supervisé à grande échelle

Résumé

L'apprentissage auto-supervisé (SSL) a récemment émergé comme un paradigme prometteur pour entraîner des modèles généralisables sur des données à grande échelle dans les domaines de la vision, du texte et de la parole. Bien que le SSL ait prouvé son efficacité pour la parole et l'audio, son application à l'audio musical reste encore largement inexplorée. Cela est principalement dû aux défis spécifiques liés à la modélisation des connaissances musicales, en particulier les caractéristiques tonales et mélodiques de la musique. Pour combler cette lacune de recherche, nous proposons un modèle de compréhension acoustique de la musique avec un entraînement auto-supervisé à grande échelle (MERT), qui intègre des modèles enseignants pour fournir des étiquettes pseudo dans le cadre d'un pré-entraînement acoustique de type modélisation de langage masqué (MLM). Au cours de notre exploration, nous avons identifié une combinaison supérieure de modèles enseignants, qui surpasse les approches conventionnelles de la parole et de l'audio en termes de performance. Cette combinaison inclut un enseignant acoustique basé sur un auto-encodeur variationnel à quantification vectorielle résiduelle (RVQ-VAE) et un enseignant musical basé sur la transformée en Q constant (CQT). Ces enseignants guident efficacement notre modèle étudiant, un encodeur de type BERT, pour mieux modéliser l'audio musical. De plus, nous introduisons une augmentation par mélange de bruit intra-lot pour renforcer la robustesse des représentations. Par ailleurs, nous explorons un large éventail de paramètres pour surmonter l'instabilité dans le pré-entraînement des modèles de langage acoustique, ce qui permet à notre paradigme conçu de passer de 95M à 330M de paramètres. Les résultats expérimentaux indiquent que notre modèle peut généraliser et performer efficacement sur 14 tâches de compréhension musicale, atteignant des scores globaux de pointe (SOTA). Le code et les modèles sont disponibles en ligne : https://github.com/yizhilll/MERT.

English

Self-supervised learning (SSL) has recently emerged as a promising paradigm for training generalisable models on large-scale data in the fields of vision, text, and speech. Although SSL has been proven effective in speech and audio, its application to music audio has yet to be thoroughly explored. This is primarily due to the distinctive challenges associated with modelling musical knowledge, particularly its tonal and pitched characteristics of music. To address this research gap, we propose an acoustic Music undERstanding model with large-scale self-supervised Training (MERT), which incorporates teacher models to provide pseudo labels in the masked language modelling (MLM) style acoustic pre-training. In our exploration, we identified a superior combination of teacher models, which outperforms conventional speech and audio approaches in terms of performance. This combination includes an acoustic teacher based on Residual Vector Quantization - Variational AutoEncoder (RVQ-VAE) and a musical teacher based on the Constant-Q Transform (CQT). These teachers effectively guide our student model, a BERT-style transformer encoder, to better model music audio. In addition, we introduce an in-batch noise mixture augmentation to enhance the representation robustness. Furthermore, we explore a wide range of settings to overcome the instability in acoustic language model pre-training, which allows our designed paradigm to scale from 95M to 330M parameters. Experimental results indicate that our model can generalise and perform well on 14 music understanding tasks and attains state-of-the-art (SOTA) overall scores. The code and models are online: https://github.com/yizhilll/MERT.

MERT : Modèle de compréhension de la musique acoustique avec un entraînement auto-supervisé à grande échelle

MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training

Résumé

Support