音楽コンテキスト保存の評価：音楽編集システムのための多面的フレームワーク

要旨

音楽編集は、映画、放送、ゲーム開発などの分野への応用を伴い、現代の音楽制作において重要な役割を果たしている。近年の音楽編集システムの進歩により、音色変換、楽器置換、ジャンル変換など、多様な編集タスクが可能になった。しかしながら、既存の多くの研究は、編集時に変更されずに保持されるべき音楽的側面を保存する能力——我々が音楽コンテキスト保存（MuseCP）と定義するもの——の評価を見落としている。MuseCPを考慮した研究も一部存在するが、その評価プロトコルと指標は包括的ではない。この問題に対処するため、我々は初のMuseCP評価フレームワークであるMuseCPEvalを提案する。MuseCPEvalは、音楽属性の微妙な変化を捉えるための、きめ細かく適切に設計された指標を用いて、音楽的側面の4つのカテゴリを網羅する。客観的検証と人間による評価実験は、これらの指標の有効性を実証している。さらに、多様な音楽編集システムに関するケーススタディは、これらの指標が評価用テストベッドおよび診断ツールとして実用性を持つことを示し、既存システムの強みと限界に関する洞察を提供する。我々の指標と知見が、強力なMuseCP能力を備えた、より効果的で信頼性の高い音楽編集戦略の開発に実用的な指針を提供できることを期待している。

English

Music editing plays a vital role in modern music production, with applications in film, broadcasting, and game development. Recent advances in music editing systems have enabled diverse editing tasks such as timbre transfer, instrument substitution, and genre transformation. However, many existing works overlook evaluating their ability to preserve musical facets that should remain unchanged during editing, which we define as Music Context Preservation (MuseCP). While some studies do consider MuseCP, their evaluation protocols and metrics are not comprehensive. To address this, we introduce the first MuseCP evaluation framework, MuseCPEval, that covers four categories of music facets with fine-grained and well-tailored metrics to capture nuanced changes in music attributes. Objective validation and a human study demonstrate the effectiveness of these metrics. Moreover, the case studies on diverse music editing systems illustrate the practical utility of these metrics as a testbed and diagnostic tool, providing insights into the strengths and limitations of existing systems. We hope our metrics and findings can offer practical guidance for developing more effective and reliable music editing strategies with strong MuseCP capability