MERT：大規模自己教師あり学習による音響音楽理解モデル

要旨

自己教師あり学習（SSL）は近年、視覚、テキスト、音声の分野において大規模データで汎化可能なモデルを訓練する有望なパラダイムとして登場しています。SSLは音声やオーディオにおいて有効性が証明されていますが、音楽オーディオへの応用はまだ十分に探求されていません。これは主に、音楽の知識、特にその音調やピッチ特性をモデル化する際に伴う特有の課題によるものです。この研究ギャップを埋めるため、我々は大規模な自己教師あり訓練を組み込んだ音響音楽理解モデル（MERT）を提案します。このモデルは、マスク言語モデリング（MLM）スタイルの音響事前訓練において擬似ラベルを提供する教師モデルを組み込んでいます。我々の探求の中で、従来の音声やオーディオアプローチを性能面で上回る優れた教師モデルの組み合わせを特定しました。この組み合わせには、Residual Vector Quantization - Variational AutoEncoder（RVQ-VAE）に基づく音響教師と、Constant-Q Transform（CQT）に基づく音楽教師が含まれます。これらの教師は、BERTスタイルのトランスフォーマーエンコーダである学生モデルを効果的に導き、音楽オーディオをより良くモデル化します。さらに、表現のロバスト性を高めるために、バッチ内ノイズ混合拡張を導入します。また、音響言語モデルの事前訓練における不安定性を克服するために、幅広い設定を探求し、設計したパラダイムを95Mから330Mのパラメータにスケールできるようにしました。実験結果は、我々のモデルが14の音楽理解タスクにおいて汎化し、良好な性能を発揮し、全体として最先端（SOTA）のスコアを達成することを示しています。コードとモデルはオンラインで公開されています：https://github.com/yizhilll/MERT。

English

Self-supervised learning (SSL) has recently emerged as a promising paradigm for training generalisable models on large-scale data in the fields of vision, text, and speech. Although SSL has been proven effective in speech and audio, its application to music audio has yet to be thoroughly explored. This is primarily due to the distinctive challenges associated with modelling musical knowledge, particularly its tonal and pitched characteristics of music. To address this research gap, we propose an acoustic Music undERstanding model with large-scale self-supervised Training (MERT), which incorporates teacher models to provide pseudo labels in the masked language modelling (MLM) style acoustic pre-training. In our exploration, we identified a superior combination of teacher models, which outperforms conventional speech and audio approaches in terms of performance. This combination includes an acoustic teacher based on Residual Vector Quantization - Variational AutoEncoder (RVQ-VAE) and a musical teacher based on the Constant-Q Transform (CQT). These teachers effectively guide our student model, a BERT-style transformer encoder, to better model music audio. In addition, we introduce an in-batch noise mixture augmentation to enhance the representation robustness. Furthermore, we explore a wide range of settings to overcome the instability in acoustic language model pre-training, which allows our designed paradigm to scale from 95M to 330M parameters. Experimental results indicate that our model can generalise and perform well on 14 music understanding tasks and attains state-of-the-art (SOTA) overall scores. The code and models are online: https://github.com/yizhilll/MERT.

MERT：大規模自己教師あり学習による音響音楽理解モデル

MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training

要旨

Support