Music Arena: Live Evaluatie voor Tekst-naar-Muziek
Music Arena: Live Evaluation for Text-to-Music
July 28, 2025
Auteurs: Yonghyun Kim, Wayne Chi, Anastasios N. Angelopoulos, Wei-Lin Chiang, Koichi Saito, Shinji Watanabe, Yuki Mitsufuji, Chris Donahue
cs.AI
Samenvatting
We presenteren Music Arena, een open platform voor schaalbare evaluatie van menselijke voorkeuren voor tekst-naar-muziek (TTM) modellen. Het verzamelen van menselijke voorkeuren via luisterstudies is de gouden standaard voor evaluatie in TTM, maar deze studies zijn kostbaar om uit te voeren en moeilijk te vergelijken, omdat studieprotocollen kunnen verschillen tussen systemen. Bovendien kunnen menselijke voorkeuren onderzoekers helpen hun TTM-systemen af te stemmen of automatische evaluatiemetrics te verbeteren, maar een open en hernieuwbare bron van voorkeuren bestaat momenteel niet. Wij streven ernaar deze lacunes op te vullen door *live* evaluatie aan te bieden voor TTM. In Music Arena voeren gebruikers uit de praktijk zelfgekozen tekstprompts in en vergelijken ze uitvoer van twee TTM-systemen, waarna hun voorkeuren worden gebruikt om een leaderboard samen te stellen. Hoewel Music Arena recente evaluatietrends in andere AI-domeinen volgt, hebben we het ook ontworpen met belangrijke functies die specifiek op muziek zijn afgestemd: een op LLM gebaseerd routersysteem om de heterogene typesignaturen van TTM-systemen te navigeren, en het verzamelen van *gedetailleerde* voorkeuren, inclusief luisterdata en feedback in natuurlijke taal. We stellen ook een doorlopend datareleasebeleid voor met garanties voor gebruikersprivacy, waardoor een hernieuwbare bron van voorkeursdata wordt geboden en de transparantie van het platform wordt vergroot. Door zijn gestandaardiseerde evaluatieprotocol, transparante data-toegangsbeleid en muziekspecifieke functies, adresseert Music Arena niet alleen belangrijke uitdagingen in het TTM-ecosysteem, maar demonstreert het ook hoe live evaluatie zorgvuldig kan worden aangepast aan de unieke kenmerken van specifieke AI-domeinen.
Music Arena is beschikbaar op: https://music-arena.org
English
We present Music Arena, an open platform for scalable human preference
evaluation of text-to-music (TTM) models. Soliciting human preferences via
listening studies is the gold standard for evaluation in TTM, but these studies
are expensive to conduct and difficult to compare, as study protocols may
differ across systems. Moreover, human preferences might help researchers align
their TTM systems or improve automatic evaluation metrics, but an open and
renewable source of preferences does not currently exist. We aim to fill these
gaps by offering *live* evaluation for TTM. In Music Arena, real-world users
input text prompts of their choosing and compare outputs from two TTM systems,
and their preferences are used to compile a leaderboard. While Music Arena
follows recent evaluation trends in other AI domains, we also design it with
key features tailored to music: an LLM-based routing system to navigate the
heterogeneous type signatures of TTM systems, and the collection of *detailed*
preferences including listening data and natural language feedback. We also
propose a rolling data release policy with user privacy guarantees, providing a
renewable source of preference data and increasing platform transparency.
Through its standardized evaluation protocol, transparent data access policies,
and music-specific features, Music Arena not only addresses key challenges in
the TTM ecosystem but also demonstrates how live evaluation can be thoughtfully
adapted to unique characteristics of specific AI domains.
Music Arena is available at: https://music-arena.org