StemGen : Un modèle de génération musicale qui écoute

StemGen: A music generation model that listens

December 14, 2023

Auteurs: Julian D. Parker, Janne Spijkervet, Katerina Kosta, Furkan Yesiler, Boris Kuznetsov, Ju-Chiang Wang, Matt Avent, Jitong Chen, Duc Le

cs.AI

Résumé

La génération de musique de bout en bout à l'aide de techniques d'apprentissage profond a connu une explosion d'activité récemment. Cependant, la plupart des modèles se concentrent sur la production de musique entièrement mixée en réponse à des informations de conditionnement abstraites. Dans ce travail, nous présentons un paradigme alternatif pour créer des modèles de génération musicale capables d'écouter et de répondre au contexte musical. Nous décrivons comment un tel modèle peut être construit en utilisant une architecture basée sur des transformeurs non autorégressifs, et nous présentons plusieurs améliorations architecturales et d'échantillonnage novatrices. Nous entraînons l'architecture décrite sur un ensemble de données open-source ainsi que sur un ensemble de données propriétaire. Nous évaluons les modèles produits en utilisant des métriques de qualité standard ainsi qu'une nouvelle approche basée sur des descripteurs de recherche d'information musicale. Le modèle résultant atteint la qualité audio des modèles de pointe conditionnés par du texte, tout en démontrant une forte cohérence musicale avec son contexte.

English

End-to-end generation of musical audio using deep learning techniques has seen an explosion of activity recently. However, most models concentrate on generating fully mixed music in response to abstract conditioning information. In this work, we present an alternative paradigm for producing music generation models that can listen and respond to musical context. We describe how such a model can be constructed using a non-autoregressive, transformer-based model architecture and present a number of novel architectural and sampling improvements. We train the described architecture on both an open-source and a proprietary dataset. We evaluate the produced models using standard quality metrics and a new approach based on music information retrieval descriptors. The resulting model reaches the audio quality of state-of-the-art text-conditioned models, as well as exhibiting strong musical coherence with its context.