MERT: 대규모 자기 지도 학습을 통한 음향 음악 이해 모델

초록

자기 지도 학습(Self-Supervised Learning, SSL)은 최근 비전, 텍스트, 음성 분야에서 대규모 데이터에 대해 일반화 가능한 모델을 훈련하기 위한 유망한 패러다임으로 부상했습니다. SSL은 음성 및 오디오 분야에서 효과적임이 입증되었지만, 음악 오디오에 대한 적용은 아직 충분히 탐구되지 않았습니다. 이는 주로 음악 지식을 모델링하는 데 따른 독특한 도전, 특히 음악의 조성과 음고 특성과 관련된 문제 때문입니다. 이러한 연구 격차를 해결하기 위해, 우리는 대규모 자기 지도 학습을 통한 음향 음악 이해 모델(Music undERstanding model with large-scale self-supervised Training, MERT)을 제안합니다. 이 모델은 마스크 언어 모델링(Masked Language Modeling, MLM) 스타일의 음향 사전 훈련에서 가짜 레이블을 제공하기 위해 교사 모델을 통합합니다. 우리의 탐구에서, 우리는 기존의 음성 및 오디오 접근법을 성능 면에서 능가하는 우수한 교사 모델 조합을 식별했습니다. 이 조합은 잔차 벡터 양자화-변분 자동 인코더(Residual Vector Quantization - Variational AutoEncoder, RVQ-VAE) 기반의 음향 교사와 상수-Q 변환(Constant-Q Transform, CQT) 기반의 음악 교사를 포함합니다. 이러한 교사들은 BERT 스타일의 트랜스포머 인코더인 우리의 학생 모델이 음악 오디오를 더 잘 모델링하도록 효과적으로 안내합니다. 또한, 우리는 표현의 견고성을 강화하기 위해 배치 내 노이즈 혼합 증강을 도입했습니다. 더 나아가, 우리는 음향 언어 모델 사전 훈련의 불안정성을 극복하기 위해 다양한 설정을 탐구하여, 우리가 설계한 패러다임이 95M에서 330M 파라미터로 확장될 수 있도록 했습니다. 실험 결과는 우리의 모델이 14개의 음악 이해 작업에서 일반화 및 우수한 성능을 발휘하며, 전반적으로 최첨단(State-of-the-Art, SOTA) 점수를 달성함을 보여줍니다. 코드와 모델은 온라인에서 확인할 수 있습니다: https://github.com/yizhilll/MERT.

English

Self-supervised learning (SSL) has recently emerged as a promising paradigm for training generalisable models on large-scale data in the fields of vision, text, and speech. Although SSL has been proven effective in speech and audio, its application to music audio has yet to be thoroughly explored. This is primarily due to the distinctive challenges associated with modelling musical knowledge, particularly its tonal and pitched characteristics of music. To address this research gap, we propose an acoustic Music undERstanding model with large-scale self-supervised Training (MERT), which incorporates teacher models to provide pseudo labels in the masked language modelling (MLM) style acoustic pre-training. In our exploration, we identified a superior combination of teacher models, which outperforms conventional speech and audio approaches in terms of performance. This combination includes an acoustic teacher based on Residual Vector Quantization - Variational AutoEncoder (RVQ-VAE) and a musical teacher based on the Constant-Q Transform (CQT). These teachers effectively guide our student model, a BERT-style transformer encoder, to better model music audio. In addition, we introduce an in-batch noise mixture augmentation to enhance the representation robustness. Furthermore, we explore a wide range of settings to overcome the instability in acoustic language model pre-training, which allows our designed paradigm to scale from 95M to 330M parameters. Experimental results indicate that our model can generalise and perform well on 14 music understanding tasks and attains state-of-the-art (SOTA) overall scores. The code and models are online: https://github.com/yizhilll/MERT.

MERT: 대규모 자기 지도 학습을 통한 음향 음악 이해 모델

MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training

초록

Support