MusicMagus: 디퓨전 모델을 통한 제로샷 텍스트-투-뮤직 편집

초록

최근 텍스트-음악 생성 모델의 발전으로 음악 창작에 새로운 가능성이 열렸습니다. 그러나 음악 생성은 일반적으로 반복적인 수정 과정을 수반하며, 생성된 음악을 어떻게 편집할 것인지는 여전히 중요한 과제로 남아 있습니다. 본 논문은 이러한 모델로 생성된 음악을 편집하는 새로운 접근 방식을 소개하며, 장르, 분위기, 악기와 같은 특정 속성을 수정하면서도 다른 측면은 그대로 유지할 수 있도록 합니다. 우리의 방법은 텍스트 편집을 잠재 공간 조작으로 변환하는 동시에 일관성을 강화하기 위한 추가 제약 조건을 적용합니다. 이 방법은 추가 학습 없이도 기존의 사전 학습된 텍스트-음악 확산 모델과 원활하게 통합됩니다. 실험 결과는 스타일과 음색 변환 평가에서 제로샷 및 일부 지도 학습 기반 방법보다 우수한 성능을 보여줍니다. 또한, 실제 음악 편집 시나리오에서 우리 접근 방식의 실용적 적용 가능성을 입증합니다.

English

Recent advances in text-to-music generation models have opened new avenues in musical creativity. However, music generation usually involves iterative refinements, and how to edit the generated music remains a significant challenge. This paper introduces a novel approach to the editing of music generated by such models, enabling the modification of specific attributes, such as genre, mood and instrument, while maintaining other aspects unchanged. Our method transforms text editing to latent space manipulation while adding an extra constraint to enforce consistency. It seamlessly integrates with existing pretrained text-to-music diffusion models without requiring additional training. Experimental results demonstrate superior performance over both zero-shot and certain supervised baselines in style and timbre transfer evaluations. Additionally, we showcase the practical applicability of our approach in real-world music editing scenarios.

MusicMagus: 디퓨전 모델을 통한 제로샷 텍스트-투-뮤직 편집

MusicMagus: Zero-Shot Text-to-Music Editing via Diffusion Models

초록

Support