Music ControlNet: Controlli Multipli Variabili nel Tempo per la Generazione Musicale

Music ControlNet: Multiple Time-varying Controls for Music Generation

November 13, 2023

Autori: Shih-Lun Wu, Chris Donahue, Shinji Watanabe, Nicholas J. Bryan

cs.AI

Abstract

I modelli di generazione di musica da testo sono ora in grado di produrre audio musicale di alta qualità in un'ampia varietà di stili. Tuttavia, il controllo tramite testo è principalmente adatto per la manipolazione di attributi musicali globali come genere, umore e tempo, ed è meno adatto per un controllo preciso su attributi variabili nel tempo, come la posizione dei battiti o le dinamiche in evoluzione della musica. Proponiamo Music ControlNet, un modello di generazione musicale basato su diffusione che offre molteplici controlli precisi e variabili nel tempo sull'audio generato. Per dotare i modelli di generazione di musica da testo di un controllo variabile nel tempo, proponiamo un approccio analogo al controllo pixel-per-pixel del metodo ControlNet nel dominio delle immagini. Nello specifico, estraiamo controlli da audio di addestramento ottenendo dati accoppiati, e ottimizziamo un modello generativo condizionale basato su diffusione sugli spettrogrammi audio dati controlli di melodia, dinamiche e ritmo. Mentre il metodo Uni-ControlNet nel dominio delle immagini consente già la generazione con qualsiasi sottoinsieme di controlli, elaboriamo una nuova strategia per permettere ai creatori di inserire controlli parzialmente specificati nel tempo. Valutiamo sia su controlli estratti da audio che su controlli che ci aspettiamo i creatori forniscano, dimostrando di poter generare musica realistica che corrisponde agli input di controllo in entrambe le situazioni. Sebbene esistano pochi modelli comparabili per la generazione musicale, confrontiamo le prestazioni con MusicGen, un modello recente che accetta input di testo e melodia, e mostriamo che il nostro modello genera musica che è il 49% più fedele alle melodie di input nonostante abbia 35 volte meno parametri, sia addestrato su 11 volte meno dati e abiliti due forme aggiuntive di controllo variabile nel tempo. Esempi audio sono disponibili su https://MusicControlNet.github.io/web/.

English

Text-to-music generation models are now capable of generating high-quality music audio in broad styles. However, text control is primarily suitable for the manipulation of global musical attributes like genre, mood, and tempo, and is less suitable for precise control over time-varying attributes such as the positions of beats in time or the changing dynamics of the music. We propose Music ControlNet, a diffusion-based music generation model that offers multiple precise, time-varying controls over generated audio. To imbue text-to-music models with time-varying control, we propose an approach analogous to pixel-wise control of the image-domain ControlNet method. Specifically, we extract controls from training audio yielding paired data, and fine-tune a diffusion-based conditional generative model over audio spectrograms given melody, dynamics, and rhythm controls. While the image-domain Uni-ControlNet method already allows generation with any subset of controls, we devise a new strategy to allow creators to input controls that are only partially specified in time. We evaluate both on controls extracted from audio and controls we expect creators to provide, demonstrating that we can generate realistic music that corresponds to control inputs in both settings. While few comparable music generation models exist, we benchmark against MusicGen, a recent model that accepts text and melody input, and show that our model generates music that is 49% more faithful to input melodies despite having 35x fewer parameters, training on 11x less data, and enabling two additional forms of time-varying control. Sound examples can be found at https://MusicControlNet.github.io/web/.