Music ControlNet: Множественные изменяющиеся во времени контроли для генерации музыки

Music ControlNet: Multiple Time-varying Controls for Music Generation

November 13, 2023

Авторы: Shih-Lun Wu, Chris Donahue, Shinji Watanabe, Nicholas J. Bryan

cs.AI

Аннотация

Модели генерации музыки из текста теперь способны создавать высококачественные аудиозаписи музыки в широком спектре стилей. Однако управление с помощью текста в основном подходит для манипуляции глобальными музыкальными атрибутами, такими как жанр, настроение и темп, и менее пригодно для точного контроля временно изменяющихся атрибутов, таких как позиции битов во времени или изменяющаяся динамика музыки. Мы предлагаем Music ControlNet, модель генерации музыки на основе диффузии, которая обеспечивает множественный точный контроль над временно изменяющимися параметрами генерируемого аудио. Чтобы наделить модели генерации музыки из текста возможностью временного контроля, мы предлагаем подход, аналогичный поточечному контролю в методе ControlNet для изображений. В частности, мы извлекаем контрольные параметры из обучающих аудиозаписей, создавая парные данные, и дообучаем диффузионную условную генеративную модель на спектрограммах аудио с учетом контроля мелодии, динамики и ритма. В то время как метод Uni-ControlNet для изображений уже позволяет генерировать с любым подмножеством контрольных параметров, мы разрабатываем новую стратегию, позволяющую создателям вводить контрольные параметры, которые лишь частично заданы во времени. Мы оцениваем как контрольные параметры, извлеченные из аудио, так и те, которые, как мы ожидаем, будут предоставлены создателями, демонстрируя, что можем генерировать реалистичную музыку, соответствующую входным контрольным параметрам в обоих случаях. Хотя существует немного сопоставимых моделей генерации музыки, мы сравниваем нашу модель с MusicGen, недавней моделью, которая принимает текст и мелодию на вход, и показываем, что наша модель генерирует музыку, которая на 49% точнее соответствует входным мелодиям, несмотря на то, что она имеет в 35 раз меньше параметров, обучается на 11 раз меньшем объеме данных и обеспечивает два дополнительных вида временного контроля. Примеры звучания можно найти на сайте https://MusicControlNet.github.io/web/.

English

Text-to-music generation models are now capable of generating high-quality music audio in broad styles. However, text control is primarily suitable for the manipulation of global musical attributes like genre, mood, and tempo, and is less suitable for precise control over time-varying attributes such as the positions of beats in time or the changing dynamics of the music. We propose Music ControlNet, a diffusion-based music generation model that offers multiple precise, time-varying controls over generated audio. To imbue text-to-music models with time-varying control, we propose an approach analogous to pixel-wise control of the image-domain ControlNet method. Specifically, we extract controls from training audio yielding paired data, and fine-tune a diffusion-based conditional generative model over audio spectrograms given melody, dynamics, and rhythm controls. While the image-domain Uni-ControlNet method already allows generation with any subset of controls, we devise a new strategy to allow creators to input controls that are only partially specified in time. We evaluate both on controls extracted from audio and controls we expect creators to provide, demonstrating that we can generate realistic music that corresponds to control inputs in both settings. While few comparable music generation models exist, we benchmark against MusicGen, a recent model that accepts text and melody input, and show that our model generates music that is 49% more faithful to input melodies despite having 35x fewer parameters, training on 11x less data, and enabling two additional forms of time-varying control. Sound examples can be found at https://MusicControlNet.github.io/web/.