Produção Musical Controlável com Modelos de Difusão e Gradientes de Orientação
Controllable Music Production with Diffusion Models and Guidance Gradients
November 1, 2023
Autores: Mark Levy, Bruno Di Giorgi, Floris Weers, Angelos Katharopoulos, Tom Nickson
cs.AI
Resumo
Demonstramos como a geração condicional a partir de modelos de difusão pode ser utilizada para abordar uma variedade de tarefas realistas na produção de música em áudio estéreo de 44,1kHz com orientação no tempo de amostragem. Os cenários que consideramos incluem a continuação, inpainting e regeneração de áudio musical, a criação de transições suaves entre duas faixas musicais diferentes e a transferência de características estilísticas desejadas para clipes de áudio existentes. Isso é alcançado aplicando orientação no tempo de amostragem em um framework simples que suporta tanto perdas de reconstrução quanto de classificação, ou qualquer combinação das duas. Essa abordagem garante que o áudio gerado possa corresponder ao seu contexto circundante ou se conformar a uma distribuição de classe ou representação latente especificada em relação a qualquer classificador ou modelo de embedding pré-treinado adequado.
English
We demonstrate how conditional generation from diffusion models can be used
to tackle a variety of realistic tasks in the production of music in 44.1kHz
stereo audio with sampling-time guidance. The scenarios we consider include
continuation, inpainting and regeneration of musical audio, the creation of
smooth transitions between two different music tracks, and the transfer of
desired stylistic characteristics to existing audio clips. We achieve this by
applying guidance at sampling time in a simple framework that supports both
reconstruction and classification losses, or any combination of the two. This
approach ensures that generated audio can match its surrounding context, or
conform to a class distribution or latent representation specified relative to
any suitable pre-trained classifier or embedding model.