Produzione Musicale Controllabile con Modelli di Diffusione e Gradienti di Guida
Controllable Music Production with Diffusion Models and Guidance Gradients
November 1, 2023
Autori: Mark Levy, Bruno Di Giorgi, Floris Weers, Angelos Katharopoulos, Tom Nickson
cs.AI
Abstract
Dimostriamo come la generazione condizionale da modelli di diffusione possa essere utilizzata per affrontare una varietà di compiti realistici nella produzione di musica in audio stereo a 44.1kHz con guida al momento del campionamento. Gli scenari che consideriamo includono la continuazione, l'inpainting e la rigenerazione di audio musicale, la creazione di transizioni fluide tra due brani musicali diversi e il trasferimento di caratteristiche stilistiche desiderate a clip audio esistenti. Raggiungiamo questo obiettivo applicando la guida al momento del campionamento in un semplice framework che supporta sia perdite di ricostruzione che di classificazione, o qualsiasi combinazione delle due. Questo approccio garantisce che l'audio generato possa corrispondere al contesto circostante o conformarsi a una distribuzione di classe o rappresentazione latente specificata rispetto a qualsiasi classificatore pre-addestrato o modello di embedding adatto.
English
We demonstrate how conditional generation from diffusion models can be used
to tackle a variety of realistic tasks in the production of music in 44.1kHz
stereo audio with sampling-time guidance. The scenarios we consider include
continuation, inpainting and regeneration of musical audio, the creation of
smooth transitions between two different music tracks, and the transfer of
desired stylistic characteristics to existing audio clips. We achieve this by
applying guidance at sampling time in a simple framework that supports both
reconstruction and classification losses, or any combination of the two. This
approach ensures that generated audio can match its surrounding context, or
conform to a class distribution or latent representation specified relative to
any suitable pre-trained classifier or embedding model.