Music ControlNet: Controles Múltiplos Variáveis no Tempo para Geração de Música

Music ControlNet: Multiple Time-varying Controls for Music Generation

November 13, 2023

Autores: Shih-Lun Wu, Chris Donahue, Shinji Watanabe, Nicholas J. Bryan

cs.AI

Resumo

Modelos de geração de música a partir de texto são agora capazes de produzir áudio musical de alta qualidade em uma ampla variedade de estilos. No entanto, o controle por texto é principalmente adequado para a manipulação de atributos musicais globais, como gênero, clima e andamento, sendo menos apropriado para o controle preciso de atributos variáveis no tempo, como a posição das batidas ou a dinâmica da música ao longo do tempo. Propomos o Music ControlNet, um modelo de geração de música baseado em difusão que oferece múltiplos controles precisos e variáveis no tempo sobre o áudio gerado. Para dotar modelos de geração de música a partir de texto com controle variável no tempo, propomos uma abordagem análoga ao controle pixel a pixel do método ControlNet no domínio de imagens. Especificamente, extraímos controles de áudios de treinamento, gerando dados pareados, e ajustamos finamente um modelo generativo condicional baseado em difusão sobre espectrogramas de áudio, considerando controles de melodia, dinâmica e ritmo. Embora o método Uni-ControlNet no domínio de imagens já permita a geração com qualquer subconjunto de controles, desenvolvemos uma nova estratégia para permitir que criadores insiram controles que são apenas parcialmente especificados no tempo. Avaliamos tanto em controles extraídos de áudio quanto em controles que esperamos que criadores forneçam, demonstrando que podemos gerar música realista que corresponde às entradas de controle em ambos os cenários. Embora existam poucos modelos comparáveis de geração de música, comparamos nosso modelo com o MusicGen, um modelo recente que aceita entradas de texto e melodia, e mostramos que nosso modelo gera música que é 49% mais fiel às melodias de entrada, apesar de ter 35 vezes menos parâmetros, treinar com 11 vezes menos dados e habilitar duas formas adicionais de controle variável no tempo. Exemplos de áudio podem ser encontrados em https://MusicControlNet.github.io/web/.

English

Text-to-music generation models are now capable of generating high-quality music audio in broad styles. However, text control is primarily suitable for the manipulation of global musical attributes like genre, mood, and tempo, and is less suitable for precise control over time-varying attributes such as the positions of beats in time or the changing dynamics of the music. We propose Music ControlNet, a diffusion-based music generation model that offers multiple precise, time-varying controls over generated audio. To imbue text-to-music models with time-varying control, we propose an approach analogous to pixel-wise control of the image-domain ControlNet method. Specifically, we extract controls from training audio yielding paired data, and fine-tune a diffusion-based conditional generative model over audio spectrograms given melody, dynamics, and rhythm controls. While the image-domain Uni-ControlNet method already allows generation with any subset of controls, we devise a new strategy to allow creators to input controls that are only partially specified in time. We evaluate both on controls extracted from audio and controls we expect creators to provide, demonstrating that we can generate realistic music that corresponds to control inputs in both settings. While few comparable music generation models exist, we benchmark against MusicGen, a recent model that accepts text and melody input, and show that our model generates music that is 49% more faithful to input melodies despite having 35x fewer parameters, training on 11x less data, and enabling two additional forms of time-varying control. Sound examples can be found at https://MusicControlNet.github.io/web/.