Music Arena: Evaluación en Vivo de Texto a Música
Music Arena: Live Evaluation for Text-to-Music
July 28, 2025
Autores: Yonghyun Kim, Wayne Chi, Anastasios N. Angelopoulos, Wei-Lin Chiang, Koichi Saito, Shinji Watanabe, Yuki Mitsufuji, Chris Donahue
cs.AI
Resumen
Presentamos Music Arena, una plataforma abierta para la evaluación escalable de preferencias humanas en modelos de texto a música (TTM, por sus siglas en inglés). La solicitud de preferencias humanas mediante estudios de escucha es el estándar de oro para la evaluación en TTM, pero estos estudios son costosos de realizar y difíciles de comparar, ya que los protocolos de estudio pueden variar entre sistemas. Además, las preferencias humanas podrían ayudar a los investigadores a alinear sus sistemas TTM o mejorar las métricas de evaluación automática, pero actualmente no existe una fuente abierta y renovable de preferencias. Nuestro objetivo es llenar estos vacíos ofreciendo una evaluación *en vivo* para TTM. En Music Arena, usuarios del mundo real introducen indicaciones de texto de su elección y comparan las salidas de dos sistemas TTM, y sus preferencias se utilizan para compilar una tabla de clasificación. Si bien Music Arena sigue las tendencias recientes de evaluación en otros dominios de IA, también lo diseñamos con características clave adaptadas a la música: un sistema de enrutamiento basado en modelos de lenguaje grandes (LLM) para navegar las firmas de tipo heterogéneas de los sistemas TTM, y la recopilación de preferencias *detalladas*, incluyendo datos de escucha y comentarios en lenguaje natural. También proponemos una política de lanzamiento continuo de datos con garantías de privacidad del usuario, proporcionando una fuente renovable de datos de preferencias y aumentando la transparencia de la plataforma. A través de su protocolo de evaluación estandarizado, políticas de acceso transparente a los datos y características específicas para la música, Music Arena no solo aborda desafíos clave en el ecosistema TTM, sino que también demuestra cómo la evaluación en vivo puede adaptarse cuidadosamente a las características únicas de dominios específicos de IA.
Music Arena está disponible en: https://music-arena.org
English
We present Music Arena, an open platform for scalable human preference
evaluation of text-to-music (TTM) models. Soliciting human preferences via
listening studies is the gold standard for evaluation in TTM, but these studies
are expensive to conduct and difficult to compare, as study protocols may
differ across systems. Moreover, human preferences might help researchers align
their TTM systems or improve automatic evaluation metrics, but an open and
renewable source of preferences does not currently exist. We aim to fill these
gaps by offering *live* evaluation for TTM. In Music Arena, real-world users
input text prompts of their choosing and compare outputs from two TTM systems,
and their preferences are used to compile a leaderboard. While Music Arena
follows recent evaluation trends in other AI domains, we also design it with
key features tailored to music: an LLM-based routing system to navigate the
heterogeneous type signatures of TTM systems, and the collection of *detailed*
preferences including listening data and natural language feedback. We also
propose a rolling data release policy with user privacy guarantees, providing a
renewable source of preference data and increasing platform transparency.
Through its standardized evaluation protocol, transparent data access policies,
and music-specific features, Music Arena not only addresses key challenges in
the TTM ecosystem but also demonstrates how live evaluation can be thoughtfully
adapted to unique characteristics of specific AI domains.
Music Arena is available at: https://music-arena.org