MERT: Modelo de Comprensión de Música Acústica con Entrenamiento Autosupervisado a Gran Escala

Resumen

El aprendizaje autosupervisado (SSL, por sus siglas en inglés) ha surgido recientemente como un paradigma prometedor para entrenar modelos generalizables con datos a gran escala en los campos de visión, texto y audio. Aunque el SSL ha demostrado ser efectivo en audio y habla, su aplicación al audio musical aún no ha sido explorada exhaustivamente. Esto se debe principalmente a los desafíos distintivos asociados con el modelado del conocimiento musical, particularmente sus características tonales y de afinación. Para abordar esta brecha de investigación, proponemos un modelo de comprensión musical acústica con entrenamiento autosupervisado a gran escala (MERT, por sus siglas en inglés), que incorpora modelos maestros para proporcionar etiquetas pseudo en el preentrenamiento acústico basado en el estilo de modelado de lenguaje enmascarado (MLM). En nuestra exploración, identificamos una combinación superior de modelos maestros, que supera en rendimiento a los enfoques convencionales de audio y habla. Esta combinación incluye un maestro acústico basado en Residual Vector Quantization - Variational AutoEncoder (RVQ-VAE) y un maestro musical basado en la Transformada Constante-Q (CQT). Estos maestros guían eficazmente a nuestro modelo estudiante, un codificador transformador estilo BERT, para modelar mejor el audio musical. Además, introducimos una técnica de aumento de mezcla de ruido dentro del lote para mejorar la robustez de las representaciones. Asimismo, exploramos una amplia gama de configuraciones para superar la inestabilidad en el preentrenamiento de modelos de lenguaje acústico, lo que permite que nuestro paradigma diseñado escale de 95M a 330M parámetros. Los resultados experimentales indican que nuestro modelo puede generalizar y desempeñarse bien en 14 tareas de comprensión musical, alcanzando puntuaciones generales de vanguardia (SOTA). El código y los modelos están disponibles en: https://github.com/yizhilll/MERT.

English

Self-supervised learning (SSL) has recently emerged as a promising paradigm for training generalisable models on large-scale data in the fields of vision, text, and speech. Although SSL has been proven effective in speech and audio, its application to music audio has yet to be thoroughly explored. This is primarily due to the distinctive challenges associated with modelling musical knowledge, particularly its tonal and pitched characteristics of music. To address this research gap, we propose an acoustic Music undERstanding model with large-scale self-supervised Training (MERT), which incorporates teacher models to provide pseudo labels in the masked language modelling (MLM) style acoustic pre-training. In our exploration, we identified a superior combination of teacher models, which outperforms conventional speech and audio approaches in terms of performance. This combination includes an acoustic teacher based on Residual Vector Quantization - Variational AutoEncoder (RVQ-VAE) and a musical teacher based on the Constant-Q Transform (CQT). These teachers effectively guide our student model, a BERT-style transformer encoder, to better model music audio. In addition, we introduce an in-batch noise mixture augmentation to enhance the representation robustness. Furthermore, we explore a wide range of settings to overcome the instability in acoustic language model pre-training, which allows our designed paradigm to scale from 95M to 330M parameters. Experimental results indicate that our model can generalise and perform well on 14 music understanding tasks and attains state-of-the-art (SOTA) overall scores. The code and models are online: https://github.com/yizhilll/MERT.

MERT: Modelo de Comprensión de Música Acústica con Entrenamiento Autosupervisado a Gran Escala

MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training

Resumen

Support