Music ControlNet: Controles múltiples variables en el tiempo para la generación de música

Music ControlNet: Multiple Time-varying Controls for Music Generation

November 13, 2023

Autores: Shih-Lun Wu, Chris Donahue, Shinji Watanabe, Nicholas J. Bryan

cs.AI

Resumen

Los modelos de generación de música a partir de texto son ahora capaces de producir audio musical de alta calidad en una amplia variedad de estilos. Sin embargo, el control mediante texto es principalmente adecuado para la manipulación de atributos musicales globales como el género, el estado de ánimo y el tempo, y es menos apropiado para un control preciso sobre atributos que varían en el tiempo, como la posición de los beats o la dinámica cambiante de la música. Proponemos Music ControlNet, un modelo de generación de música basado en difusión que ofrece múltiples controles precisos y variables en el tiempo sobre el audio generado. Para dotar a los modelos de texto a música con control variable en el tiempo, proponemos un enfoque análogo al control píxel a píxel del método ControlNet en el dominio de las imágenes. Específicamente, extraemos controles del audio de entrenamiento para obtener datos emparejados, y ajustamos un modelo generativo condicional basado en difusión sobre espectrogramas de audio dados controles de melodía, dinámica y ritmo. Mientras que el método Uni-ControlNet en el dominio de las imágenes ya permite la generación con cualquier subconjunto de controles, diseñamos una nueva estrategia para permitir a los creadores introducir controles que solo están parcialmente especificados en el tiempo. Evaluamos tanto en controles extraídos del audio como en controles que esperamos que los creadores proporcionen, demostrando que podemos generar música realista que se corresponde con las entradas de control en ambos escenarios. Aunque existen pocos modelos comparables de generación de música, comparamos nuestro modelo con MusicGen, un modelo reciente que acepta texto y melodía como entrada, y mostramos que nuestro modelo genera música que es un 49% más fiel a las melodías de entrada, a pesar de tener 35 veces menos parámetros, entrenarse con 11 veces menos datos y permitir dos formas adicionales de control variable en el tiempo. Los ejemplos de sonido pueden encontrarse en https://MusicControlNet.github.io/web/.

English

Text-to-music generation models are now capable of generating high-quality music audio in broad styles. However, text control is primarily suitable for the manipulation of global musical attributes like genre, mood, and tempo, and is less suitable for precise control over time-varying attributes such as the positions of beats in time or the changing dynamics of the music. We propose Music ControlNet, a diffusion-based music generation model that offers multiple precise, time-varying controls over generated audio. To imbue text-to-music models with time-varying control, we propose an approach analogous to pixel-wise control of the image-domain ControlNet method. Specifically, we extract controls from training audio yielding paired data, and fine-tune a diffusion-based conditional generative model over audio spectrograms given melody, dynamics, and rhythm controls. While the image-domain Uni-ControlNet method already allows generation with any subset of controls, we devise a new strategy to allow creators to input controls that are only partially specified in time. We evaluate both on controls extracted from audio and controls we expect creators to provide, demonstrating that we can generate realistic music that corresponds to control inputs in both settings. While few comparable music generation models exist, we benchmark against MusicGen, a recent model that accepts text and melody input, and show that our model generates music that is 49% more faithful to input melodies despite having 35x fewer parameters, training on 11x less data, and enabling two additional forms of time-varying control. Sound examples can be found at https://MusicControlNet.github.io/web/.