디퓨전 모델과 그래디언트를 활용한 제어 가능한 음악 생산

Controllable Music Production with Diffusion Models and Guidance Gradients

November 1, 2023

저자: Mark Levy, Bruno Di Giorgi, Floris Weers, Angelos Katharopoulos, Tom Nickson

cs.AI

초록

우리는 44.1kHz 스테레오 오디오에서 샘플링 시간 가이던스를 활용한 디퓨전 모델의 조건부 생성을 통해 다양한 현실적인 음악 제작 작업을 해결하는 방법을 보여줍니다. 우리가 고려한 시나리오에는 음악 오디오의 연속, 인페인팅 및 재생성, 두 개의 서로 다른 음악 트랙 간의 부드러운 전환 생성, 그리고 기존 오디오 클립에 원하는 스타일적 특성을 전달하는 작업이 포함됩니다. 이를 위해 우리는 재구성 및 분류 손실, 또는 이 둘의 조합을 모두 지원하는 간단한 프레임워크에서 샘플링 시간에 가이던스를 적용합니다. 이 접근 방식은 생성된 오디오가 주변 맥락과 일치하거나, 적절한 사전 훈련된 분류기나 임베딩 모델에 상대적으로 지정된 클래스 분포나 잠재 표현을 따르도록 보장합니다.

English

We demonstrate how conditional generation from diffusion models can be used to tackle a variety of realistic tasks in the production of music in 44.1kHz stereo audio with sampling-time guidance. The scenarios we consider include continuation, inpainting and regeneration of musical audio, the creation of smooth transitions between two different music tracks, and the transfer of desired stylistic characteristics to existing audio clips. We achieve this by applying guidance at sampling time in a simple framework that supports both reconstruction and classification losses, or any combination of the two. This approach ensures that generated audio can match its surrounding context, or conform to a class distribution or latent representation specified relative to any suitable pre-trained classifier or embedding model.