Music ControlNet : Contrôles multiples variant dans le temps pour la génération musicale

Music ControlNet: Multiple Time-varying Controls for Music Generation

November 13, 2023

Auteurs: Shih-Lun Wu, Chris Donahue, Shinji Watanabe, Nicholas J. Bryan

cs.AI

Résumé

Les modèles de génération de musique à partir de texte sont désormais capables de produire des audios musicaux de haute qualité dans une grande variété de styles. Cependant, le contrôle par texte est principalement adapté à la manipulation d'attributs musicaux globaux tels que le genre, l'ambiance et le tempo, et se révèle moins approprié pour un contrôle précis des attributs variant dans le temps, comme la position des battements ou l'évolution des dynamiques musicales. Nous proposons Music ControlNet, un modèle de génération musicale basé sur la diffusion, offrant plusieurs contrôles précis et temporels sur l'audio généré. Pour doter les modèles de génération de musique à partir de texte d'un contrôle temporel, nous proposons une approche analogue au contrôle pixel par pixel de la méthode ControlNet dans le domaine de l'image. Plus précisément, nous extrayons des contrôles à partir d'audios d'entraînement pour obtenir des données appariées, et affinons un modèle génératif conditionnel basé sur la diffusion sur des spectrogrammes audio, en fonction de contrôles de mélodie, de dynamique et de rythme. Alors que la méthode Uni-ControlNet dans le domaine de l'image permet déjà la génération avec n'importe quel sous-ensemble de contrôles, nous concevons une nouvelle stratégie pour permettre aux créateurs de fournir des contrôles partiellement spécifiés dans le temps. Nous évaluons à la fois les contrôles extraits d'audio et ceux que nous attendons des créateurs, démontrant que nous pouvons générer une musique réaliste correspondant aux entrées de contrôle dans les deux cas. Bien que peu de modèles comparables de génération musicale existent, nous comparons notre modèle à MusicGen, un modèle récent acceptant des entrées de texte et de mélodie, et montrons que notre modèle génère une musique 49 % plus fidèle aux mélodies d'entrée, malgré 35 fois moins de paramètres, un entraînement sur 11 fois moins de données, et l'activation de deux formes supplémentaires de contrôle temporel. Des exemples sonores sont disponibles à l'adresse https://MusicControlNet.github.io/web/.

English

Text-to-music generation models are now capable of generating high-quality music audio in broad styles. However, text control is primarily suitable for the manipulation of global musical attributes like genre, mood, and tempo, and is less suitable for precise control over time-varying attributes such as the positions of beats in time or the changing dynamics of the music. We propose Music ControlNet, a diffusion-based music generation model that offers multiple precise, time-varying controls over generated audio. To imbue text-to-music models with time-varying control, we propose an approach analogous to pixel-wise control of the image-domain ControlNet method. Specifically, we extract controls from training audio yielding paired data, and fine-tune a diffusion-based conditional generative model over audio spectrograms given melody, dynamics, and rhythm controls. While the image-domain Uni-ControlNet method already allows generation with any subset of controls, we devise a new strategy to allow creators to input controls that are only partially specified in time. We evaluate both on controls extracted from audio and controls we expect creators to provide, demonstrating that we can generate realistic music that corresponds to control inputs in both settings. While few comparable music generation models exist, we benchmark against MusicGen, a recent model that accepts text and melody input, and show that our model generates music that is 49% more faithful to input melodies despite having 35x fewer parameters, training on 11x less data, and enabling two additional forms of time-varying control. Sound examples can be found at https://MusicControlNet.github.io/web/.