Producción Musical Controlable con Modelos de Difusión y Gradientes de Guía

Controllable Music Production with Diffusion Models and Guidance Gradients

November 1, 2023

Autores: Mark Levy, Bruno Di Giorgi, Floris Weers, Angelos Katharopoulos, Tom Nickson

cs.AI

Resumen

Demostramos cómo la generación condicional a partir de modelos de difusión puede utilizarse para abordar una variedad de tareas realistas en la producción de música en audio estéreo a 44.1 kHz con guía en el tiempo de muestreo. Los escenarios que consideramos incluyen la continuación, la restauración y la regeneración de audio musical, la creación de transiciones suaves entre dos pistas musicales diferentes, y la transferencia de características estilísticas deseadas a clips de audio existentes. Logramos esto aplicando guía en el tiempo de muestreo dentro de un marco simple que admite tanto pérdidas de reconstrucción como de clasificación, o cualquier combinación de ambas. Este enfoque garantiza que el audio generado pueda coincidir con su contexto circundante o ajustarse a una distribución de clases o representación latente especificada en relación con cualquier clasificador o modelo de embeddings preentrenado adecuado.

English

We demonstrate how conditional generation from diffusion models can be used to tackle a variety of realistic tasks in the production of music in 44.1kHz stereo audio with sampling-time guidance. The scenarios we consider include continuation, inpainting and regeneration of musical audio, the creation of smooth transitions between two different music tracks, and the transfer of desired stylistic characteristics to existing audio clips. We achieve this by applying guidance at sampling time in a simple framework that supports both reconstruction and classification losses, or any combination of the two. This approach ensures that generated audio can match its surrounding context, or conform to a class distribution or latent representation specified relative to any suitable pre-trained classifier or embedding model.