MusicMagus: Редактирование текста в музыку с нулевым обучением с использованием диффузионных моделей

MusicMagus: Zero-Shot Text-to-Music Editing via Diffusion Models

February 9, 2024

Авторы: Yixiao Zhang, Yukara Ikemiya, Gus Xia, Naoki Murata, Marco Martínez, Wei-Hsiang Liao, Yuki Mitsufuji, Simon Dixon

cs.AI

Аннотация

Последние достижения в моделях генерации музыки из текста открыли новые возможности для музыкального творчества. Однако создание музыки обычно требует итеративных доработок, и задача редактирования сгенерированной музыки остается значительным вызовом. В данной статье представлен новый подход к редактированию музыки, созданной такими моделями, который позволяет изменять конкретные атрибуты, такие как жанр, настроение и инструменты, сохраняя при этом другие аспекты неизменными. Наш метод преобразует редактирование текста в манипуляции в латентном пространстве, добавляя дополнительное ограничение для обеспечения согласованности. Он легко интегрируется с существующими предобученными диффузионными моделями генерации музыки из текста, не требуя дополнительного обучения. Экспериментальные результаты демонстрируют превосходную производительность по сравнению как с нулевыми, так и с некоторыми контролируемыми базовыми методами в оценках передачи стиля и тембра. Кроме того, мы показываем практическую применимость нашего подхода в реальных сценариях редактирования музыки.

English

Recent advances in text-to-music generation models have opened new avenues in musical creativity. However, music generation usually involves iterative refinements, and how to edit the generated music remains a significant challenge. This paper introduces a novel approach to the editing of music generated by such models, enabling the modification of specific attributes, such as genre, mood and instrument, while maintaining other aspects unchanged. Our method transforms text editing to latent space manipulation while adding an extra constraint to enforce consistency. It seamlessly integrates with existing pretrained text-to-music diffusion models without requiring additional training. Experimental results demonstrate superior performance over both zero-shot and certain supervised baselines in style and timbre transfer evaluations. Additionally, we showcase the practical applicability of our approach in real-world music editing scenarios.