Music Arena: Live-Evaluation für Text-zu-Musik
Music Arena: Live Evaluation for Text-to-Music
July 28, 2025
papers.authors: Yonghyun Kim, Wayne Chi, Anastasios N. Angelopoulos, Wei-Lin Chiang, Koichi Saito, Shinji Watanabe, Yuki Mitsufuji, Chris Donahue
cs.AI
papers.abstract
Wir präsentieren Music Arena, eine offene Plattform für skalierbare Bewertungen menschlicher Präferenzen bei Text-zu-Musik (TTM)-Modellen. Die Erhebung menschlicher Präferenzen durch Hörstudien gilt als Goldstandard für die Bewertung von TTM, doch diese Studien sind kostspielig durchzuführen und schwer zu vergleichen, da die Studienprotokolle zwischen Systemen variieren können. Darüber hinaus könnten menschliche Präferenzen Forschern helfen, ihre TTM-Systeme auszurichten oder automatische Bewertungsmetriken zu verbessern, doch eine offene und erneuerbare Quelle für Präferenzen existiert derzeit nicht. Wir streben an, diese Lücken durch *Live*-Bewertungen für TTM zu schließen. In Music Arena geben reale Nutzer selbstgewählte Textprompts ein und vergleichen die Ausgaben zweier TTM-Systeme, wobei ihre Präferenzen zur Erstellung einer Bestenliste verwendet werden. Während Music Arena aktuelle Bewertungstrends in anderen KI-Domänen aufgreift, haben wir es auch mit Schlüsselmerkmalen speziell für Musik gestaltet: ein auf LLM basierendes Routing-System, um die heterogenen Typsignaturen von TTM-Systemen zu navigieren, und die Erfassung *detaillierter* Präferenzen, einschließlich Hördaten und natürlicher Sprachfeedback. Wir schlagen zudem eine fortlaufende Datenfreigabepolitik mit Datenschutzgarantien vor, die eine erneuerbare Quelle für Präferenzdaten bietet und die Transparenz der Plattform erhöht. Durch sein standardisiertes Bewertungsprotokoll, transparente Datenzugriffsrichtlinien und musikbezogene Funktionen adressiert Music Arena nicht nur zentrale Herausforderungen im TTM-Ökosystem, sondern zeigt auch, wie Live-Bewertungen sorgfältig an die einzigartigen Eigenschaften spezifischer KI-Domänen angepasst werden können.
Music Arena ist verfügbar unter: https://music-arena.org
English
We present Music Arena, an open platform for scalable human preference
evaluation of text-to-music (TTM) models. Soliciting human preferences via
listening studies is the gold standard for evaluation in TTM, but these studies
are expensive to conduct and difficult to compare, as study protocols may
differ across systems. Moreover, human preferences might help researchers align
their TTM systems or improve automatic evaluation metrics, but an open and
renewable source of preferences does not currently exist. We aim to fill these
gaps by offering *live* evaluation for TTM. In Music Arena, real-world users
input text prompts of their choosing and compare outputs from two TTM systems,
and their preferences are used to compile a leaderboard. While Music Arena
follows recent evaluation trends in other AI domains, we also design it with
key features tailored to music: an LLM-based routing system to navigate the
heterogeneous type signatures of TTM systems, and the collection of *detailed*
preferences including listening data and natural language feedback. We also
propose a rolling data release policy with user privacy guarantees, providing a
renewable source of preference data and increasing platform transparency.
Through its standardized evaluation protocol, transparent data access policies,
and music-specific features, Music Arena not only addresses key challenges in
the TTM ecosystem but also demonstrates how live evaluation can be thoughtfully
adapted to unique characteristics of specific AI domains.
Music Arena is available at: https://music-arena.org