MERT: Akustisches Musikverständnismodell mit groß angelegtem selbstüberwachtem Training

Zusammenfassung

Self-supervised Learning (SSL) hat sich in letzter Zeit als vielversprechendes Paradigma für das Training generalisierbarer Modelle auf groß angelegten Daten in den Bereichen Vision, Text und Sprache etabliert. Obwohl SSL sich in der Sprach- und Audioverarbeitung als effektiv erwiesen hat, wurde seine Anwendung auf Musik-Audio noch nicht umfassend erforscht. Dies liegt vor allem an den besonderen Herausforderungen, die mit der Modellierung musikalischen Wissens verbunden sind, insbesondere den tonalen und pitch-basierten Eigenschaften der Musik. Um diese Forschungslücke zu schließen, schlagen wir ein akustisches Music undERstanding Modell mit groß angelegtem Self-supervised Training (MERT) vor, das Lehrermodelle integriert, um Pseudolabels im Stil des Masked Language Modelling (MLM) für das akustische Pre-Training bereitzustellen. In unserer Untersuchung identifizierten wir eine überlegene Kombination von Lehrermodellen, die herkömmliche Ansätze in der Sprach- und Audioverarbeitung in Bezug auf die Leistung übertrifft. Diese Kombination umfasst einen akustischen Lehrer basierend auf Residual Vector Quantization - Variational AutoEncoder (RVQ-VAE) und einen musikalischen Lehrer basierend auf der Constant-Q Transform (CQT). Diese Lehrer leiten unser Schülermodell, einen BERT-artigen Transformer-Encoder, effektiv an, um Musik-Audio besser zu modellieren. Zusätzlich führen wir eine In-Batch-Noise-Mixture-Augmentation ein, um die Robustheit der Repräsentation zu verbessern. Darüber hinaus untersuchen wir eine Vielzahl von Einstellungen, um die Instabilität im Pre-Training akustischer Sprachmodelle zu überwinden, was es unserem entworfenen Paradigma ermöglicht, von 95M auf 330M Parameter zu skalieren. Experimentelle Ergebnisse zeigen, dass unser Modell auf 14 Musikverständnisaufgaben generalisieren und gut abschneiden kann und insgesamt state-of-the-art (SOTA) Ergebnisse erzielt. Der Code und die Modelle sind online verfügbar: https://github.com/yizhilll/MERT.

English

Self-supervised learning (SSL) has recently emerged as a promising paradigm for training generalisable models on large-scale data in the fields of vision, text, and speech. Although SSL has been proven effective in speech and audio, its application to music audio has yet to be thoroughly explored. This is primarily due to the distinctive challenges associated with modelling musical knowledge, particularly its tonal and pitched characteristics of music. To address this research gap, we propose an acoustic Music undERstanding model with large-scale self-supervised Training (MERT), which incorporates teacher models to provide pseudo labels in the masked language modelling (MLM) style acoustic pre-training. In our exploration, we identified a superior combination of teacher models, which outperforms conventional speech and audio approaches in terms of performance. This combination includes an acoustic teacher based on Residual Vector Quantization - Variational AutoEncoder (RVQ-VAE) and a musical teacher based on the Constant-Q Transform (CQT). These teachers effectively guide our student model, a BERT-style transformer encoder, to better model music audio. In addition, we introduce an in-batch noise mixture augmentation to enhance the representation robustness. Furthermore, we explore a wide range of settings to overcome the instability in acoustic language model pre-training, which allows our designed paradigm to scale from 95M to 330M parameters. Experimental results indicate that our model can generalise and perform well on 14 music understanding tasks and attains state-of-the-art (SOTA) overall scores. The code and models are online: https://github.com/yizhilll/MERT.

MERT: Akustisches Musikverständnismodell mit groß angelegtem selbstüberwachtem Training

MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training

Zusammenfassung

Support