Transferencia de Estilos Musicales con Inversión Variable en el Tiempo de Modelos de Difusión

Music Style Transfer with Time-Varying Inversion of Diffusion Models

February 21, 2024

Autores: Sifei Li, Yuxin Zhang, Fan Tang, Chongyang Ma, Weiming dong, Changsheng Xu

cs.AI

Resumen

Con el desarrollo de los modelos de difusión, la transferencia de estilo de imágenes guiada por texto ha demostrado resultados de síntesis controlada de alta calidad. Sin embargo, la utilización de texto para la transferencia de estilo musical diversa presenta desafíos significativos, principalmente debido a la disponibilidad limitada de conjuntos de datos de audio-texto emparejados. La música, siendo una forma de arte abstracta y compleja, exhibe variaciones y matices incluso dentro del mismo género, lo que dificulta las descripciones textuales precisas. Este artículo presenta un enfoque de transferencia de estilo musical que captura efectivamente los atributos musicales utilizando datos mínimos. Introducimos un novedoso módulo de inversión textual variante en el tiempo para capturar con precisión las características del mel-espectrograma en diferentes niveles. Durante la inferencia, proponemos una técnica de estilización con reducción de sesgo para obtener resultados estables. Los resultados experimentales demuestran que nuestro método puede transferir el estilo de instrumentos específicos, así como incorporar sonidos naturales para componer melodías. Las muestras y el código fuente están disponibles en https://lsfhuihuiff.github.io/MusicTI/.

English

With the development of diffusion models, text-guided image style transfer has demonstrated high-quality controllable synthesis results. However, the utilization of text for diverse music style transfer poses significant challenges, primarily due to the limited availability of matched audio-text datasets. Music, being an abstract and complex art form, exhibits variations and intricacies even within the same genre, thereby making accurate textual descriptions challenging. This paper presents a music style transfer approach that effectively captures musical attributes using minimal data. We introduce a novel time-varying textual inversion module to precisely capture mel-spectrogram features at different levels. During inference, we propose a bias-reduced stylization technique to obtain stable results. Experimental results demonstrate that our method can transfer the style of specific instruments, as well as incorporate natural sounds to compose melodies. Samples and source code are available at https://lsfhuihuiff.github.io/MusicTI/.