Production musicale contrôlable avec modèles de diffusion et gradients de guidage
Controllable Music Production with Diffusion Models and Guidance Gradients
November 1, 2023
Auteurs: Mark Levy, Bruno Di Giorgi, Floris Weers, Angelos Katharopoulos, Tom Nickson
cs.AI
Résumé
Nous démontrons comment la génération conditionnelle à partir de modèles de diffusion peut être utilisée pour aborder une variété de tâches réalistes dans la production de musique en audio stéréo 44,1 kHz avec un guidage au moment de l'échantillonnage. Les scénarios que nous considérons incluent la continuation, l'inpainting et la régénération d'audio musical, la création de transitions fluides entre deux pistes musicales différentes, ainsi que le transfert de caractéristiques stylistiques souhaitées vers des clips audio existants. Nous y parvenons en appliquant un guidage au moment de l'échantillonnage dans un cadre simple qui prend en charge à la fois les pertes de reconstruction et de classification, ou toute combinaison des deux. Cette approche garantit que l'audio généré peut correspondre à son contexte environnant ou se conformer à une distribution de classe ou à une représentation latente spécifiée par rapport à tout classifieur ou modèle d'embedding pré-entraîné approprié.
English
We demonstrate how conditional generation from diffusion models can be used
to tackle a variety of realistic tasks in the production of music in 44.1kHz
stereo audio with sampling-time guidance. The scenarios we consider include
continuation, inpainting and regeneration of musical audio, the creation of
smooth transitions between two different music tracks, and the transfer of
desired stylistic characteristics to existing audio clips. We achieve this by
applying guidance at sampling time in a simple framework that supports both
reconstruction and classification losses, or any combination of the two. This
approach ensures that generated audio can match its surrounding context, or
conform to a class distribution or latent representation specified relative to
any suitable pre-trained classifier or embedding model.