음악 맥락 보존 평가: 음악 편집 시스템을 위한 다각적 프레임워크

초록

음악 편집은 현대 음악 제작에서 중요한 역할을 하며, 영화, 방송, 게임 개발 분야에 응용되고 있다. 최근 음악 편집 시스템의 발전으로 음색 변환, 악기 대체, 장르 변환과 같은 다양한 편집 작업이 가능해졌다. 그러나 많은 기존 연구들은 편집 과정에서 변경되지 않아야 할 음악적 측면을 보존하는 능력, 즉 음악 맥락 보존(MuseCP)을 평가하는 것을 간과하고 있다. 일부 연구에서 MuseCP를 고려하긴 하지만, 그 평가 프로토콜과 지표는 포괄적이지 않다. 이러한 문제를 해결하기 위해, 우리는 네 가지 범주의 음악 속성을 다루는 최초의 MuseCP 평가 프레임워크인 MuseCPEval을 제안한다. 이 프레임워크는 음악 속성의 미묘한 변화를 포착하기 위한 세분화되고 정교하게 설계된 지표를 제공한다. 객관적 검증과 인간 평가 연구를 통해 이러한 지표의 효과성을 입증한다. 또한 다양한 음악 편집 시스템에 대한 사례 연구는 이러한 지표가 테스트베드이자 진단 도구로서 실용적 효용성을 지니며, 기존 시스템의 강점과 한계에 대한 통찰력을 제공함을 보여준다. 우리는 본 지표와 연구 결과가 강력한 MuseCP 능력을 갖춘 보다 효과적이고 신뢰할 수 있는 음악 편집 전략 개발을 위한 실질적 지침을 제공할 수 있기를 기대한다.

English

Music editing plays a vital role in modern music production, with applications in film, broadcasting, and game development. Recent advances in music editing systems have enabled diverse editing tasks such as timbre transfer, instrument substitution, and genre transformation. However, many existing works overlook evaluating their ability to preserve musical facets that should remain unchanged during editing, which we define as Music Context Preservation (MuseCP). While some studies do consider MuseCP, their evaluation protocols and metrics are not comprehensive. To address this, we introduce the first MuseCP evaluation framework, MuseCPEval, that covers four categories of music facets with fine-grained and well-tailored metrics to capture nuanced changes in music attributes. Objective validation and a human study demonstrate the effectiveness of these metrics. Moreover, the case studies on diverse music editing systems illustrate the practical utility of these metrics as a testbed and diagnostic tool, providing insights into the strengths and limitations of existing systems. We hope our metrics and findings can offer practical guidance for developing more effective and reliable music editing strategies with strong MuseCP capability