MERT: Модель для анализа акустической музыки с масштабным самообучением

Аннотация

Самообучение (SSL) недавно стало перспективной парадигмой для обучения обобщаемых моделей на больших объемах данных в областях зрения, текста и речи. Хотя SSL доказало свою эффективность в обработке речи и аудио, его применение к музыкальным аудиоданным еще не было тщательно исследовано. Это связано в первую очередь с уникальными задачами, связанными с моделированием музыкальных знаний, особенно тональных и высотных характеристик музыки. Чтобы восполнить этот пробел в исследованиях, мы предлагаем акустическую модель понимания музыки с крупномасштабным самообучением (MERT), которая использует модели-учителя для предоставления псевдометок в рамках акустического предобучения в стиле маскированного языкового моделирования (MLM). В ходе исследования мы определили оптимальную комбинацию моделей-учителей, которая превосходит традиционные подходы для речи и аудио по производительности. Эта комбинация включает акустического учителя на основе Residual Vector Quantization - Variational AutoEncoder (RVQ-VAE) и музыкального учителя на основе Constant-Q Transform (CQT). Эти учителя эффективно направляют нашу модель-ученика, трансформерный кодировщик в стиле BERT, для лучшего моделирования музыкальных аудиоданных. Кроме того, мы вводим аугментацию с использованием внутрибатчевого смешивания шумов для повышения устойчивости представлений. Также мы исследуем широкий спектр настроек, чтобы преодолеть нестабильность в предобучении акустических языковых моделей, что позволяет нашей разработанной парадигме масштабироваться от 95 млн до 330 млн параметров. Экспериментальные результаты показывают, что наша модель способна обобщать и хорошо справляться с 14 задачами понимания музыки, достигая наивысших общих показателей (SOTA). Код и модели доступны по адресу: https://github.com/yizhilll/MERT.

English

Self-supervised learning (SSL) has recently emerged as a promising paradigm for training generalisable models on large-scale data in the fields of vision, text, and speech. Although SSL has been proven effective in speech and audio, its application to music audio has yet to be thoroughly explored. This is primarily due to the distinctive challenges associated with modelling musical knowledge, particularly its tonal and pitched characteristics of music. To address this research gap, we propose an acoustic Music undERstanding model with large-scale self-supervised Training (MERT), which incorporates teacher models to provide pseudo labels in the masked language modelling (MLM) style acoustic pre-training. In our exploration, we identified a superior combination of teacher models, which outperforms conventional speech and audio approaches in terms of performance. This combination includes an acoustic teacher based on Residual Vector Quantization - Variational AutoEncoder (RVQ-VAE) and a musical teacher based on the Constant-Q Transform (CQT). These teachers effectively guide our student model, a BERT-style transformer encoder, to better model music audio. In addition, we introduce an in-batch noise mixture augmentation to enhance the representation robustness. Furthermore, we explore a wide range of settings to overcome the instability in acoustic language model pre-training, which allows our designed paradigm to scale from 95M to 330M parameters. Experimental results indicate that our model can generalise and perform well on 14 music understanding tasks and attains state-of-the-art (SOTA) overall scores. The code and models are online: https://github.com/yizhilll/MERT.

MERT: Модель для анализа акустической музыки с масштабным самообучением

MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training

Аннотация

Support