MusicMagus: Edición de Texto a Música en Cero Disparos mediante Modelos de Difusión

MusicMagus: Zero-Shot Text-to-Music Editing via Diffusion Models

February 9, 2024

Autores: Yixiao Zhang, Yukara Ikemiya, Gus Xia, Naoki Murata, Marco Martínez, Wei-Hsiang Liao, Yuki Mitsufuji, Simon Dixon

cs.AI

Resumen

Los recientes avances en los modelos de generación de texto a música han abierto nuevas vías en la creatividad musical. Sin embargo, la generación de música suele implicar refinamientos iterativos, y cómo editar la música generada sigue siendo un desafío significativo. Este artículo introduce un enfoque novedoso para la edición de música generada por dichos modelos, permitiendo la modificación de atributos específicos, como el género, el estado de ánimo y los instrumentos, mientras se mantienen inalterados otros aspectos. Nuestro método transforma la edición de texto en manipulación del espacio latente, añadiendo una restricción adicional para garantizar la coherencia. Se integra perfectamente con los modelos de difusión de texto a música preentrenados existentes sin requerir entrenamiento adicional. Los resultados experimentales demuestran un rendimiento superior tanto en comparación con enfoques de cero disparos como con ciertas líneas base supervisadas en evaluaciones de transferencia de estilo y timbre. Además, mostramos la aplicabilidad práctica de nuestro enfoque en escenarios reales de edición musical.

English

Recent advances in text-to-music generation models have opened new avenues in musical creativity. However, music generation usually involves iterative refinements, and how to edit the generated music remains a significant challenge. This paper introduces a novel approach to the editing of music generated by such models, enabling the modification of specific attributes, such as genre, mood and instrument, while maintaining other aspects unchanged. Our method transforms text editing to latent space manipulation while adding an extra constraint to enforce consistency. It seamlessly integrates with existing pretrained text-to-music diffusion models without requiring additional training. Experimental results demonstrate superior performance over both zero-shot and certain supervised baselines in style and timbre transfer evaluations. Additionally, we showcase the practical applicability of our approach in real-world music editing scenarios.