StemGen: Un modelo de generación musical que escucha

StemGen: A music generation model that listens

December 14, 2023

Autores: Julian D. Parker, Janne Spijkervet, Katerina Kosta, Furkan Yesiler, Boris Kuznetsov, Ju-Chiang Wang, Matt Avent, Jitong Chen, Duc Le

cs.AI

Resumen

La generación de audio musical de extremo a extremo utilizando técnicas de aprendizaje profundo ha experimentado una explosión de actividad recientemente. Sin embargo, la mayoría de los modelos se concentran en generar música completamente mezclada en respuesta a información de condicionamiento abstracta. En este trabajo, presentamos un paradigma alternativo para producir modelos de generación musical que pueden escuchar y responder al contexto musical. Describimos cómo se puede construir dicho modelo utilizando una arquitectura basada en transformadores no autoregresivos y presentamos varias mejoras novedosas en la arquitectura y el muestreo. Entrenamos la arquitectura descrita tanto en un conjunto de datos de código abierto como en uno propietario. Evaluamos los modelos producidos utilizando métricas de calidad estándar y un nuevo enfoque basado en descriptores de recuperación de información musical. El modelo resultante alcanza la calidad de audio de los modelos de última generación condicionados por texto, además de exhibir una fuerte coherencia musical con su contexto.

English

End-to-end generation of musical audio using deep learning techniques has seen an explosion of activity recently. However, most models concentrate on generating fully mixed music in response to abstract conditioning information. In this work, we present an alternative paradigm for producing music generation models that can listen and respond to musical context. We describe how such a model can be constructed using a non-autoregressive, transformer-based model architecture and present a number of novel architectural and sampling improvements. We train the described architecture on both an open-source and a proprietary dataset. We evaluate the produced models using standard quality metrics and a new approach based on music information retrieval descriptors. The resulting model reaches the audio quality of state-of-the-art text-conditioned models, as well as exhibiting strong musical coherence with its context.