Steuerbare Musikproduktion mit Diffusionsmodellen und Leitgradienten
Controllable Music Production with Diffusion Models and Guidance Gradients
November 1, 2023
Autoren: Mark Levy, Bruno Di Giorgi, Floris Weers, Angelos Katharopoulos, Tom Nickson
cs.AI
Zusammenfassung
Wir zeigen, wie die bedingte Generierung aus Diffusionsmodellen genutzt werden kann, um eine Vielzahl realistischer Aufgaben in der Produktion von Musik in 44,1 kHz Stereo-Audio mit Sampling-Zeit-Führung zu bewältigen. Die Szenarien, die wir betrachten, umfassen die Fortsetzung, Inpainting und Regeneration von musikalischem Audio, die Erstellung von fließenden Übergängen zwischen zwei verschiedenen Musikstücken sowie die Übertragung gewünschter stilistischer Merkmale auf bestehende Audioclips. Dies erreichen wir durch die Anwendung von Führung zur Sampling-Zeit in einem einfachen Framework, das sowohl Rekonstruktions- als auch Klassifikationsverluste oder jede Kombination der beiden unterstützt. Dieser Ansatz stellt sicher, dass generiertes Audio seinen umgebenden Kontext widerspiegeln oder einer Klassenverteilung oder latenten Darstellung entsprechen kann, die relativ zu einem geeigneten vortrainierten Klassifikator oder Einbettungsmodell spezifiziert ist.
English
We demonstrate how conditional generation from diffusion models can be used
to tackle a variety of realistic tasks in the production of music in 44.1kHz
stereo audio with sampling-time guidance. The scenarios we consider include
continuation, inpainting and regeneration of musical audio, the creation of
smooth transitions between two different music tracks, and the transfer of
desired stylistic characteristics to existing audio clips. We achieve this by
applying guidance at sampling time in a simple framework that supports both
reconstruction and classification losses, or any combination of the two. This
approach ensures that generated audio can match its surrounding context, or
conform to a class distribution or latent representation specified relative to
any suitable pre-trained classifier or embedding model.