Music Arena: Avaliação em Tempo Real para Texto-para-Música
Music Arena: Live Evaluation for Text-to-Music
July 28, 2025
Autores: Yonghyun Kim, Wayne Chi, Anastasios N. Angelopoulos, Wei-Lin Chiang, Koichi Saito, Shinji Watanabe, Yuki Mitsufuji, Chris Donahue
cs.AI
Resumo
Apresentamos o Music Arena, uma plataforma aberta para avaliação escalável de preferências humanas em modelos de texto para música (TTM). Solicitar preferências humanas por meio de estudos de escuta é o padrão ouro para avaliação em TTM, mas esses estudos são caros de realizar e difíceis de comparar, pois os protocolos de estudo podem variar entre os sistemas. Além disso, as preferências humanas podem ajudar os pesquisadores a alinhar seus sistemas TTM ou melhorar as métricas de avaliação automática, mas uma fonte aberta e renovável de preferências atualmente não existe. Nosso objetivo é preencher essas lacunas oferecendo avaliação *em tempo real* para TTM. No Music Arena, usuários do mundo real inserem prompts de texto de sua escolha e comparam saídas de dois sistemas TTM, e suas preferências são usadas para compilar um ranking. Embora o Music Arena siga tendências recentes de avaliação em outros domínios de IA, também o projetamos com recursos-chave adaptados à música: um sistema de roteamento baseado em LLM para navegar pelas assinaturas de tipo heterogêneas dos sistemas TTM, e a coleta de preferências *detalhadas*, incluindo dados de escuta e feedback em linguagem natural. Também propomos uma política de liberação contínua de dados com garantias de privacidade do usuário, fornecendo uma fonte renovável de dados de preferência e aumentando a transparência da plataforma. Por meio de seu protocolo de avaliação padronizado, políticas transparentes de acesso a dados e recursos específicos para música, o Music Arena não apenas aborda desafios-chave no ecossistema TTM, mas também demonstra como a avaliação em tempo real pode ser cuidadosamente adaptada às características únicas de domínios específicos de IA. O Music Arena está disponível em: https://music-arena.org
English
We present Music Arena, an open platform for scalable human preference
evaluation of text-to-music (TTM) models. Soliciting human preferences via
listening studies is the gold standard for evaluation in TTM, but these studies
are expensive to conduct and difficult to compare, as study protocols may
differ across systems. Moreover, human preferences might help researchers align
their TTM systems or improve automatic evaluation metrics, but an open and
renewable source of preferences does not currently exist. We aim to fill these
gaps by offering *live* evaluation for TTM. In Music Arena, real-world users
input text prompts of their choosing and compare outputs from two TTM systems,
and their preferences are used to compile a leaderboard. While Music Arena
follows recent evaluation trends in other AI domains, we also design it with
key features tailored to music: an LLM-based routing system to navigate the
heterogeneous type signatures of TTM systems, and the collection of *detailed*
preferences including listening data and natural language feedback. We also
propose a rolling data release policy with user privacy guarantees, providing a
renewable source of preference data and increasing platform transparency.
Through its standardized evaluation protocol, transparent data access policies,
and music-specific features, Music Arena not only addresses key challenges in
the TTM ecosystem but also demonstrates how live evaluation can be thoughtfully
adapted to unique characteristics of specific AI domains.
Music Arena is available at: https://music-arena.org