Перенос музыкального стиля с использованием временно-изменяемой инверсии диффузионных моделей

Music Style Transfer with Time-Varying Inversion of Diffusion Models

February 21, 2024

Авторы: Sifei Li, Yuxin Zhang, Fan Tang, Chongyang Ma, Weiming dong, Changsheng Xu

cs.AI

Аннотация

С развитием диффузионных моделей текстово-управляемый перенос стиля изображений продемонстрировал высококачественные и контролируемые результаты синтеза. Однако использование текста для разнообразного переноса музыкальных стилей сталкивается с существенными трудностями, в основном из-за ограниченной доступности согласованных аудио-текстовых наборов данных. Музыка, являясь абстрактной и сложной формой искусства, демонстрирует вариации и тонкости даже в рамках одного жанра, что делает точные текстовые описания сложной задачей. В данной статье представлен подход к переносу музыкального стиля, который эффективно захватывает музыкальные атрибуты с использованием минимального объема данных. Мы вводим новый модуль временно-вариативной текстовой инверсии для точного захвата особенностей мел-спектрограмм на различных уровнях. В процессе вывода мы предлагаем технику стилизации с уменьшенным смещением для получения стабильных результатов. Экспериментальные результаты показывают, что наш метод способен переносить стиль конкретных инструментов, а также включать естественные звуки для создания мелодий. Примеры и исходный код доступны по адресу https://lsfhuihuiff.github.io/MusicTI/.

English

With the development of diffusion models, text-guided image style transfer has demonstrated high-quality controllable synthesis results. However, the utilization of text for diverse music style transfer poses significant challenges, primarily due to the limited availability of matched audio-text datasets. Music, being an abstract and complex art form, exhibits variations and intricacies even within the same genre, thereby making accurate textual descriptions challenging. This paper presents a music style transfer approach that effectively captures musical attributes using minimal data. We introduce a novel time-varying textual inversion module to precisely capture mel-spectrogram features at different levels. During inference, we propose a bias-reduced stylization technique to obtain stable results. Experimental results demonstrate that our method can transfer the style of specific instruments, as well as incorporate natural sounds to compose melodies. Samples and source code are available at https://lsfhuihuiff.github.io/MusicTI/.