Muziekstijloverdracht met Tijdvariërende Inversie van Diffusiemodellen

Music Style Transfer with Time-Varying Inversion of Diffusion Models

February 21, 2024

Auteurs: Sifei Li, Yuxin Zhang, Fan Tang, Chongyang Ma, Weiming dong, Changsheng Xu

cs.AI

Samenvatting

Met de ontwikkeling van diffusiemodellen heeft tekstgestuurde beeldstijloverdracht hoogwaardige en controleerbare syntheseresultaten laten zien. Het gebruik van tekst voor diverse muziekstijloverdracht brengt echter aanzienlijke uitdagingen met zich mee, voornamelijk vanwege de beperkte beschikbaarheid van gekoppelde audio-tekstdatasets. Muziek, als een abstracte en complexe kunstvorm, vertoont variaties en complexiteiten zelfs binnen hetzelfde genre, wat nauwkeurige tekstuele beschrijvingen bemoeilijkt. Dit artikel presenteert een benadering voor muziekstijloverdracht die muzikale attributen effectief vastlegt met minimale data. We introduceren een nieuw tijdvariërend tekstueel inversiemodule om mel-spectrogramkenmerken op verschillende niveaus nauwkeurig vast te leggen. Tijdens inferentie stellen we een bias-gereduceerde stileringsmethode voor om stabiele resultaten te verkrijgen. Experimentele resultaten tonen aan dat onze methode de stijl van specifieke instrumenten kan overdragen, evenals natuurlijke geluiden kan integreren om melodieën te componeren. Voorbeelden en broncode zijn beschikbaar op https://lsfhuihuiff.github.io/MusicTI/.

English

With the development of diffusion models, text-guided image style transfer has demonstrated high-quality controllable synthesis results. However, the utilization of text for diverse music style transfer poses significant challenges, primarily due to the limited availability of matched audio-text datasets. Music, being an abstract and complex art form, exhibits variations and intricacies even within the same genre, thereby making accurate textual descriptions challenging. This paper presents a music style transfer approach that effectively captures musical attributes using minimal data. We introduce a novel time-varying textual inversion module to precisely capture mel-spectrogram features at different levels. During inference, we propose a bias-reduced stylization technique to obtain stable results. Experimental results demonstrate that our method can transfer the style of specific instruments, as well as incorporate natural sounds to compose melodies. Samples and source code are available at https://lsfhuihuiff.github.io/MusicTI/.