Music ControlNet: Meerdere tijdvariërende controles voor muziekgeneratie

Music ControlNet: Multiple Time-varying Controls for Music Generation

November 13, 2023

Auteurs: Shih-Lun Wu, Chris Donahue, Shinji Watanabe, Nicholas J. Bryan

cs.AI

Samenvatting

Text-to-music-generatiemodellen zijn nu in staat om hoogwaardige muziek in brede stijlen te genereren. Echter is tekstbesturing vooral geschikt voor het manipuleren van globale muzikale attributen zoals genre, stemming en tempo, en minder geschikt voor precieze controle over tijdvariërende attributen zoals de positie van beats in de tijd of de veranderende dynamiek van de muziek. Wij stellen Music ControlNet voor, een op diffusie gebaseerd muziekgeneratiemodel dat meerdere precieze, tijdvariërende controles biedt over gegenereerde audio. Om tekst-naar-muziekmodellen te voorzien van tijdvariërende controle, stellen we een aanpak voor die analoog is aan pixelgewijze controle van de ControlNet-methode in het beelddomein. Specifiek extraheren we controles uit trainingsaudio, wat gepaarde data oplevert, en fine-tunen we een op diffusie gebaseerd conditioneel generatief model over audiospectrogrammen op basis van melodie-, dynamiek- en ritmecontroles. Hoewel de Uni-ControlNet-methode in het beelddomein al generatie met elke subset van controles toestaat, bedenken we een nieuwe strategie om makers in staat te stellen controles in te voeren die slechts gedeeltelijk in de tijd zijn gespecificeerd. We evalueren zowel op controles die uit audio zijn geëxtraheerd als op controles die we verwachten dat makers zullen aanleveren, en tonen aan dat we realistische muziek kunnen genereren die overeenkomt met controle-ingangen in beide situaties. Hoewel er weinig vergelijkbare muziekgeneratiemodellen bestaan, vergelijken we ons met MusicGen, een recent model dat tekst- en melodie-ingangen accepteert, en laten we zien dat ons model muziek genereert die 49% trouwer is aan ingevoerde melodieën, ondanks het feit dat het 35x minder parameters heeft, getraind is op 11x minder data, en twee extra vormen van tijdvariërende controle mogelijk maakt. Geluidsvoorbeelden zijn te vinden op https://MusicControlNet.github.io/web/.

English

Text-to-music generation models are now capable of generating high-quality music audio in broad styles. However, text control is primarily suitable for the manipulation of global musical attributes like genre, mood, and tempo, and is less suitable for precise control over time-varying attributes such as the positions of beats in time or the changing dynamics of the music. We propose Music ControlNet, a diffusion-based music generation model that offers multiple precise, time-varying controls over generated audio. To imbue text-to-music models with time-varying control, we propose an approach analogous to pixel-wise control of the image-domain ControlNet method. Specifically, we extract controls from training audio yielding paired data, and fine-tune a diffusion-based conditional generative model over audio spectrograms given melody, dynamics, and rhythm controls. While the image-domain Uni-ControlNet method already allows generation with any subset of controls, we devise a new strategy to allow creators to input controls that are only partially specified in time. We evaluate both on controls extracted from audio and controls we expect creators to provide, demonstrating that we can generate realistic music that corresponds to control inputs in both settings. While few comparable music generation models exist, we benchmark against MusicGen, a recent model that accepts text and melody input, and show that our model generates music that is 49% more faithful to input melodies despite having 35x fewer parameters, training on 11x less data, and enabling two additional forms of time-varying control. Sound examples can be found at https://MusicControlNet.github.io/web/.