Beheersbare Muziekproductie met Diffusiemodellen en Begeleidingsgradiënten

Controllable Music Production with Diffusion Models and Guidance Gradients

November 1, 2023

Auteurs: Mark Levy, Bruno Di Giorgi, Floris Weers, Angelos Katharopoulos, Tom Nickson

cs.AI

Samenvatting

We demonstreren hoe conditionele generatie met diffusiemodellen kan worden ingezet om een verscheidenheid aan realistische taken aan te pakken bij de productie van muziek in 44,1kHz stereo-audio met begeleiding tijdens het samplingproces. De scenario's die we beschouwen omvatten het voortzetten, inpainten en regenereren van muzikale audio, het creëren van vloeiende overgangen tussen twee verschillende muziektracks, en het overbrengen van gewenste stilistische kenmerken naar bestaande audioclips. We bereiken dit door begeleiding toe te passen tijdens het samplingproces in een eenvoudig framework dat zowel reconstructie- als classificatieverliezen ondersteunt, of elke combinatie daarvan. Deze aanpak zorgt ervoor dat gegenereerde audio kan aansluiten bij de omringende context, of kan voldoen aan een klasseverdeling of latente representatie die is gespecificeerd ten opzichte van een geschikt vooraf getraind classificatie- of embeddingmodel.

English

We demonstrate how conditional generation from diffusion models can be used to tackle a variety of realistic tasks in the production of music in 44.1kHz stereo audio with sampling-time guidance. The scenarios we consider include continuation, inpainting and regeneration of musical audio, the creation of smooth transitions between two different music tracks, and the transfer of desired stylistic characteristics to existing audio clips. We achieve this by applying guidance at sampling time in a simple framework that supports both reconstruction and classification losses, or any combination of the two. This approach ensures that generated audio can match its surrounding context, or conform to a class distribution or latent representation specified relative to any suitable pre-trained classifier or embedding model.