Transfert de style musical avec inversion temporelle des modèles de diffusion

Music Style Transfer with Time-Varying Inversion of Diffusion Models

February 21, 2024

Auteurs: Sifei Li, Yuxin Zhang, Fan Tang, Chongyang Ma, Weiming dong, Changsheng Xu

cs.AI

Résumé

Avec le développement des modèles de diffusion, le transfert de style d'image guidé par texte a démontré des résultats de synthèse contrôlée de haute qualité. Cependant, l'utilisation du texte pour le transfert de style musical diversifié pose des défis importants, principalement en raison de la disponibilité limitée de jeux de données audio-texte appariés. La musique, étant une forme d'art abstraite et complexe, présente des variations et des subtilités même au sein d'un même genre, rendant ainsi les descriptions textuelles précises difficiles. Cet article présente une approche de transfert de style musical qui capture efficacement les attributs musicaux en utilisant un minimum de données. Nous introduisons un nouveau module d'inversion textuelle variant dans le temps pour capturer précisément les caractéristiques des mél-spectrogrammes à différents niveaux. Pendant l'inférence, nous proposons une technique de stylisation à biais réduit pour obtenir des résultats stables. Les résultats expérimentaux démontrent que notre méthode peut transférer le style d'instruments spécifiques, ainsi qu'incorporer des sons naturels pour composer des mélodies. Les échantillons et le code source sont disponibles à l'adresse https://lsfhuihuiff.github.io/MusicTI/.

English

With the development of diffusion models, text-guided image style transfer has demonstrated high-quality controllable synthesis results. However, the utilization of text for diverse music style transfer poses significant challenges, primarily due to the limited availability of matched audio-text datasets. Music, being an abstract and complex art form, exhibits variations and intricacies even within the same genre, thereby making accurate textual descriptions challenging. This paper presents a music style transfer approach that effectively captures musical attributes using minimal data. We introduce a novel time-varying textual inversion module to precisely capture mel-spectrogram features at different levels. During inference, we propose a bias-reduced stylization technique to obtain stable results. Experimental results demonstrate that our method can transfer the style of specific instruments, as well as incorporate natural sounds to compose melodies. Samples and source code are available at https://lsfhuihuiff.github.io/MusicTI/.