Управляемое создание музыки с использованием диффузионных моделей и градиентов направляющих сигналов

Controllable Music Production with Diffusion Models and Guidance Gradients

November 1, 2023

Авторы: Mark Levy, Bruno Di Giorgi, Floris Weers, Angelos Katharopoulos, Tom Nickson

cs.AI

Аннотация

Мы демонстрируем, как условная генерация с использованием диффузионных моделей может быть применена для решения различных практических задач в производстве музыкальных композиций в формате стереоаудио с частотой дискретизации 44,1 кГц с использованием управления на этапе сэмплирования. Рассматриваемые сценарии включают продолжение, восстановление и регенерацию музыкального аудио, создание плавных переходов между двумя различными музыкальными треками, а также перенос желаемых стилистических характеристик на существующие аудиоклипы. Мы достигаем этого, применяя управление на этапе сэмплирования в рамках простой структуры, которая поддерживает как потери реконструкции, так и классификации, или любую их комбинацию. Такой подход гарантирует, что сгенерированное аудио может соответствовать окружающему контексту или соответствовать распределению классов или латентному представлению, заданному относительно любого подходящего предварительно обученного классификатора или модели встраивания.

English

We demonstrate how conditional generation from diffusion models can be used to tackle a variety of realistic tasks in the production of music in 44.1kHz stereo audio with sampling-time guidance. The scenarios we consider include continuation, inpainting and regeneration of musical audio, the creation of smooth transitions between two different music tracks, and the transfer of desired stylistic characteristics to existing audio clips. We achieve this by applying guidance at sampling time in a simple framework that supports both reconstruction and classification losses, or any combination of the two. This approach ensures that generated audio can match its surrounding context, or conform to a class distribution or latent representation specified relative to any suitable pre-trained classifier or embedding model.