Musikstiltransfer mit zeitvariabler Inversion von Diffusionsmodellen

Music Style Transfer with Time-Varying Inversion of Diffusion Models

February 21, 2024

Autoren: Sifei Li, Yuxin Zhang, Fan Tang, Chongyang Ma, Weiming dong, Changsheng Xu

cs.AI

Zusammenfassung

Mit der Entwicklung von Diffusionsmodellen hat der textgesteuerte Bildstiltransfer hochwertige und kontrollierbare Syntheseergebnisse demonstriert. Die Nutzung von Text für den vielfältigen Musikstiltransfer stellt jedoch erhebliche Herausforderungen dar, vor allem aufgrund der begrenzten Verfügbarkeit von passenden Audio-Text-Datensätzen. Musik, als abstrakte und komplexe Kunstform, weist Variationen und Feinheiten selbst innerhalb desselben Genres auf, was präzise textuelle Beschreibungen erschwert. Dieses Papier präsentiert einen Ansatz zum Musikstiltransfer, der musikalische Attribute effektiv mit minimalen Daten erfasst. Wir führen ein neuartiges zeitvariantes textuelles Inversionsmodul ein, um Mel-Spektrogramm-Merkmale auf verschiedenen Ebenen präzise zu erfassen. Während der Inferenz schlagen wir eine bias-reduzierte Stilisierungstechnik vor, um stabile Ergebnisse zu erzielen. Experimentelle Ergebnisse zeigen, dass unsere Methode den Stil spezifischer Instrumente übertragen sowie natürliche Klänge einbinden kann, um Melodien zu komponieren. Beispiele und Quellcode sind unter https://lsfhuihuiff.github.io/MusicTI/ verfügbar.

English

With the development of diffusion models, text-guided image style transfer has demonstrated high-quality controllable synthesis results. However, the utilization of text for diverse music style transfer poses significant challenges, primarily due to the limited availability of matched audio-text datasets. Music, being an abstract and complex art form, exhibits variations and intricacies even within the same genre, thereby making accurate textual descriptions challenging. This paper presents a music style transfer approach that effectively captures musical attributes using minimal data. We introduce a novel time-varying textual inversion module to precisely capture mel-spectrogram features at different levels. During inference, we propose a bias-reduced stylization technique to obtain stable results. Experimental results demonstrate that our method can transfer the style of specific instruments, as well as incorporate natural sounds to compose melodies. Samples and source code are available at https://lsfhuihuiff.github.io/MusicTI/.