뮤직 아레나: 텍스트-투-뮤직 실시간 평가
Music Arena: Live Evaluation for Text-to-Music
July 28, 2025
저자: Yonghyun Kim, Wayne Chi, Anastasios N. Angelopoulos, Wei-Lin Chiang, Koichi Saito, Shinji Watanabe, Yuki Mitsufuji, Chris Donahue
cs.AI
초록
우리는 텍스트-투-뮤직(TTM) 모델의 확장 가능한 인간 선호도 평가를 위한 오픈 플랫폼인 Music Arena를 소개합니다. 청취 연구를 통해 인간의 선호도를 조사하는 것은 TTM 평가에서의 표준 방법이지만, 이러한 연구는 실행 비용이 높고, 시스템 간 연구 프로토콜이 다를 수 있어 비교가 어렵습니다. 또한, 인간의 선호도는 연구자들이 TTM 시스템을 조정하거나 자동 평가 지표를 개선하는 데 도움을 줄 수 있지만, 현재까지 오픈되고 지속 가능한 선호도 데이터 소스는 존재하지 않습니다. 우리는 이러한 격차를 메우기 위해 TTM을 위한 *실시간* 평가를 제공하고자 합니다. Music Arena에서는 실제 사용자가 선택한 텍스트 프롬프트를 입력하고 두 TTM 시스템의 출력을 비교하며, 그들의 선호도를 기반으로 리더보드를 작성합니다. Music Arena는 다른 AI 도메인의 최근 평가 트렌드를 따르는 동시에, 음악에 특화된 주요 기능을 설계했습니다: TTM 시스템의 다양한 유형 시그니처를 탐색하기 위한 LLM 기반 라우팅 시스템, 그리고 청취 데이터와 자연어 피드백을 포함한 *상세한* 선호도 수집 기능이 그것입니다. 또한, 사용자 개인정보 보호를 보장하는 롤링 데이터 공개 정책을 제안하여, 지속 가능한 선호도 데이터 소스를 제공하고 플랫폼의 투명성을 높였습니다. 표준화된 평가 프로토콜, 투명한 데이터 접근 정책, 그리고 음악 특화 기능을 통해 Music Arena는 TTM 생태계의 주요 문제를 해결할 뿐만 아니라, 특정 AI 도메인의 고유한 특성에 맞춰 실시간 평가를 신중하게 적용할 수 있는 방법을 보여줍니다.
Music Arena는 https://music-arena.org에서 이용 가능합니다.
English
We present Music Arena, an open platform for scalable human preference
evaluation of text-to-music (TTM) models. Soliciting human preferences via
listening studies is the gold standard for evaluation in TTM, but these studies
are expensive to conduct and difficult to compare, as study protocols may
differ across systems. Moreover, human preferences might help researchers align
their TTM systems or improve automatic evaluation metrics, but an open and
renewable source of preferences does not currently exist. We aim to fill these
gaps by offering *live* evaluation for TTM. In Music Arena, real-world users
input text prompts of their choosing and compare outputs from two TTM systems,
and their preferences are used to compile a leaderboard. While Music Arena
follows recent evaluation trends in other AI domains, we also design it with
key features tailored to music: an LLM-based routing system to navigate the
heterogeneous type signatures of TTM systems, and the collection of *detailed*
preferences including listening data and natural language feedback. We also
propose a rolling data release policy with user privacy guarantees, providing a
renewable source of preference data and increasing platform transparency.
Through its standardized evaluation protocol, transparent data access policies,
and music-specific features, Music Arena not only addresses key challenges in
the TTM ecosystem but also demonstrates how live evaluation can be thoughtfully
adapted to unique characteristics of specific AI domains.
Music Arena is available at: https://music-arena.org