MERT: Modello per la Comprensione della Musica Acustica con Addestramento Autosupervisionato su Larga Scala

MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training

May 31, 2023

Autori: Yizhi Li, Ruibin Yuan, Ge Zhang, Yinghao Ma, Xingran Chen, Hanzhi Yin, Chenghua Lin, Anton Ragni, Emmanouil Benetos, Norbert Gyenge, Roger Dannenberg, Ruibo Liu, Wenhu Chen, Gus Xia, Yemin Shi, Wenhao Huang, Yike Guo, Jie Fu

cs.AI

Abstract

L'apprendimento auto-supervisionato (SSL) è emerso recentemente come un paradigma promettente per addestrare modelli generalizzabili su dati su larga scala nei campi della visione, del testo e del parlato. Sebbene l'SSL si sia dimostrato efficace nel parlato e nell'audio, la sua applicazione all'audio musicale non è stata ancora esplorata a fondo. Ciò è principalmente dovuto alle sfide distintive associate alla modellazione della conoscenza musicale, in particolare alle sue caratteristiche tonali e di altezza. Per colmare questa lacuna di ricerca, proponiamo un modello acustico per la comprensione musicale con addestramento auto-supervisionato su larga scala (MERT), che incorpora modelli insegnanti per fornire etichette pseudo nello stile del masked language modelling (MLM) durante il pre-addestramento acustico. Nella nostra esplorazione, abbiamo identificato una combinazione superiore di modelli insegnanti, che supera gli approcci convenzionali per il parlato e l'audio in termini di prestazioni. Questa combinazione include un insegnante acustico basato su Residual Vector Quantization - Variational AutoEncoder (RVQ-VAE) e un insegnante musicale basato sulla trasformata Constant-Q (CQT). Questi insegnanti guidano efficacemente il nostro modello studente, un encoder di tipo BERT, a modellare meglio l'audio musicale. Inoltre, introduciamo un aumento dei dati con miscela di rumore in-batch per migliorare la robustezza delle rappresentazioni. Inoltre, esploriamo un'ampia gamma di impostazioni per superare l'instabilità nel pre-addestramento dei modelli linguistici acustici, il che consente al nostro paradigma progettato di scalare da 95M a 330M parametri. I risultati sperimentali indicano che il nostro modello può generalizzare e ottenere buone prestazioni su 14 task di comprensione musicale, raggiungendo punteggi complessivi all'avanguardia (SOTA). Il codice e i modelli sono disponibili online: https://github.com/yizhilll/MERT.

English

Self-supervised learning (SSL) has recently emerged as a promising paradigm for training generalisable models on large-scale data in the fields of vision, text, and speech. Although SSL has been proven effective in speech and audio, its application to music audio has yet to be thoroughly explored. This is primarily due to the distinctive challenges associated with modelling musical knowledge, particularly its tonal and pitched characteristics of music. To address this research gap, we propose an acoustic Music undERstanding model with large-scale self-supervised Training (MERT), which incorporates teacher models to provide pseudo labels in the masked language modelling (MLM) style acoustic pre-training. In our exploration, we identified a superior combination of teacher models, which outperforms conventional speech and audio approaches in terms of performance. This combination includes an acoustic teacher based on Residual Vector Quantization - Variational AutoEncoder (RVQ-VAE) and a musical teacher based on the Constant-Q Transform (CQT). These teachers effectively guide our student model, a BERT-style transformer encoder, to better model music audio. In addition, we introduce an in-batch noise mixture augmentation to enhance the representation robustness. Furthermore, we explore a wide range of settings to overcome the instability in acoustic language model pre-training, which allows our designed paradigm to scale from 95M to 330M parameters. Experimental results indicate that our model can generalise and perform well on 14 music understanding tasks and attains state-of-the-art (SOTA) overall scores. The code and models are online: https://github.com/yizhilll/MERT.