拡散モデルと勾配ガイダンスを用いた制御可能な音楽生成

Controllable Music Production with Diffusion Models and Guidance Gradients

November 1, 2023

著者: Mark Levy, Bruno Di Giorgi, Floris Weers, Angelos Katharopoulos, Tom Nickson

cs.AI

要旨

44.1kHzステレオ音声の音楽制作において、サンプリング時ガイダンスを用いた拡散モデルからの条件付き生成が、様々な現実的なタスクにどのように活用できるかを実証します。私たちが検討するシナリオには、音楽音声の継続、インペインティング、再生、異なる音楽トラック間のスムーズなトランジションの作成、既存の音声クリップへの所望のスタイル特性の転送が含まれます。これを実現するために、再構成損失と分類損失、またはその両方の任意の組み合わせをサポートするシンプルなフレームワークにおいて、サンプリング時にガイダンスを適用します。このアプローチにより、生成された音声がその周囲のコンテキストに一致するか、または適切な事前学習済み分類器または埋め込みモデルに対して指定されたクラス分布または潜在表現に適合することが保証されます。

English

We demonstrate how conditional generation from diffusion models can be used to tackle a variety of realistic tasks in the production of music in 44.1kHz stereo audio with sampling-time guidance. The scenarios we consider include continuation, inpainting and regeneration of musical audio, the creation of smooth transitions between two different music tracks, and the transfer of desired stylistic characteristics to existing audio clips. We achieve this by applying guidance at sampling time in a simple framework that supports both reconstruction and classification losses, or any combination of the two. This approach ensures that generated audio can match its surrounding context, or conform to a class distribution or latent representation specified relative to any suitable pre-trained classifier or embedding model.