Music ControlNet: Mehrfache zeitvariante Steuerungen für die Musikerzeugung

Music ControlNet: Multiple Time-varying Controls for Music Generation

November 13, 2023

papers.authors: Shih-Lun Wu, Chris Donahue, Shinji Watanabe, Nicholas J. Bryan

cs.AI

papers.abstract

Text-to-Music-Generationsmodelle sind inzwischen in der Lage, hochwertige Musik in einer Vielzahl von Stilen zu erzeugen. Die Textsteuerung eignet sich jedoch hauptsächlich zur Manipulation globaler musikalischer Attribute wie Genre, Stimmung und Tempo und ist weniger geeignet für die präzise Steuerung zeitlich variierender Attribute wie die Positionen von Beats im Zeitverlauf oder die sich ändernde Dynamik der Musik. Wir stellen Music ControlNet vor, ein diffusionsbasiertes Musikgenerationsmodell, das mehrere präzise, zeitlich variierende Steuerungen über das erzeugte Audio bietet. Um Text-to-Music-Modelle mit zeitlich variierender Steuerung auszustatten, schlagen wir einen Ansatz vor, der der pixelweisen Steuerung der bildbasierten ControlNet-Methode analog ist. Konkret extrahieren wir Steuerungen aus Trainings-Audio, um gepaarte Daten zu erhalten, und feintunen ein diffusionsbasiertes, bedingtes Generativmodell über Audiospektrogramme unter Berücksichtigung von Melodie-, Dynamik- und Rhythmussteuerungen. Während die bildbasierte Uni-ControlNet-Methode bereits die Generierung mit beliebigen Teilmengen von Steuerungen ermöglicht, entwickeln wir eine neue Strategie, die es Schaffenden ermöglicht, Steuerungen einzugeben, die nur teilweise im Zeitverlauf spezifiziert sind. Wir evaluieren sowohl Steuerungen, die aus Audio extrahiert wurden, als auch Steuerungen, die wir von Schaffenden erwarten, und zeigen, dass wir realistische Musik erzeugen können, die den Steuerungseingaben in beiden Szenarien entspricht. Obwohl nur wenige vergleichbare Musikgenerationsmodelle existieren, vergleichen wir uns mit MusicGen, einem kürzlich entwickelten Modell, das Text- und Melodieeingaben akzeptiert, und zeigen, dass unser Modell Musik erzeugt, die zu 49 % treuer zu den eingegebenen Melodien ist, obwohl es 35-mal weniger Parameter hat, mit 11-mal weniger Daten trainiert wurde und zwei zusätzliche Formen zeitlich variierender Steuerung ermöglicht. Klangbeispiele finden Sie unter https://MusicControlNet.github.io/web/.

English

Text-to-music generation models are now capable of generating high-quality music audio in broad styles. However, text control is primarily suitable for the manipulation of global musical attributes like genre, mood, and tempo, and is less suitable for precise control over time-varying attributes such as the positions of beats in time or the changing dynamics of the music. We propose Music ControlNet, a diffusion-based music generation model that offers multiple precise, time-varying controls over generated audio. To imbue text-to-music models with time-varying control, we propose an approach analogous to pixel-wise control of the image-domain ControlNet method. Specifically, we extract controls from training audio yielding paired data, and fine-tune a diffusion-based conditional generative model over audio spectrograms given melody, dynamics, and rhythm controls. While the image-domain Uni-ControlNet method already allows generation with any subset of controls, we devise a new strategy to allow creators to input controls that are only partially specified in time. We evaluate both on controls extracted from audio and controls we expect creators to provide, demonstrating that we can generate realistic music that corresponds to control inputs in both settings. While few comparable music generation models exist, we benchmark against MusicGen, a recent model that accepts text and melody input, and show that our model generates music that is 49% more faithful to input melodies despite having 35x fewer parameters, training on 11x less data, and enabling two additional forms of time-varying control. Sound examples can be found at https://MusicControlNet.github.io/web/.