MusicMagus: Modifica Testo-Musica Zero-Shot tramite Modelli di Diffusione

MusicMagus: Zero-Shot Text-to-Music Editing via Diffusion Models

February 9, 2024

Autori: Yixiao Zhang, Yukara Ikemiya, Gus Xia, Naoki Murata, Marco Martínez, Wei-Hsiang Liao, Yuki Mitsufuji, Simon Dixon

cs.AI

Abstract

I recenti progressi nei modelli di generazione musicale da testo hanno aperto nuove strade nella creatività musicale. Tuttavia, la generazione di musica coinvolge solitamente raffinamenti iterativi, e come modificare la musica generata rimane una sfida significativa. Questo articolo introduce un approccio innovativo per la modifica della musica generata da tali modelli, consentendo la modifica di attributi specifici, come genere, umore e strumento, mantenendo inalterati altri aspetti. Il nostro metodo trasforma la modifica del testo in una manipolazione dello spazio latente, aggiungendo un vincolo aggiuntivo per garantire la coerenza. Si integra perfettamente con i modelli di diffusione testo-musica pre-addestrati esistenti senza richiedere ulteriori addestramenti. I risultati sperimentali dimostrano una performance superiore rispetto sia ai metodi zero-shot che ad alcune baseline supervisionate nelle valutazioni di trasferimento di stile e timbro. Inoltre, mostriamo l'applicabilità pratica del nostro approccio in scenari reali di editing musicale.

English

Recent advances in text-to-music generation models have opened new avenues in musical creativity. However, music generation usually involves iterative refinements, and how to edit the generated music remains a significant challenge. This paper introduces a novel approach to the editing of music generated by such models, enabling the modification of specific attributes, such as genre, mood and instrument, while maintaining other aspects unchanged. Our method transforms text editing to latent space manipulation while adding an extra constraint to enforce consistency. It seamlessly integrates with existing pretrained text-to-music diffusion models without requiring additional training. Experimental results demonstrate superior performance over both zero-shot and certain supervised baselines in style and timbre transfer evaluations. Additionally, we showcase the practical applicability of our approach in real-world music editing scenarios.