Music Arena: Живая оценка для преобразования текста в музыку
Music Arena: Live Evaluation for Text-to-Music
July 28, 2025
Авторы: Yonghyun Kim, Wayne Chi, Anastasios N. Angelopoulos, Wei-Lin Chiang, Koichi Saito, Shinji Watanabe, Yuki Mitsufuji, Chris Donahue
cs.AI
Аннотация
Мы представляем Music Arena — открытую платформу для масштабируемой оценки человеческих предпочтений в моделях преобразования текста в музыку (Text-to-Music, TTM). Сбор человеческих предпочтений через прослушивания является золотым стандартом оценки в TTM, однако такие исследования дорогостоящи и сложны для сравнения, так как протоколы исследований могут различаться между системами. Более того, человеческие предпочтения могут помочь исследователям лучше настраивать свои TTM-системы или улучшать автоматические метрики оценки, но открытого и возобновляемого источника таких предпочтений в настоящее время не существует. Мы стремимся заполнить эти пробелы, предлагая *живую* оценку для TTM. В Music Arena реальные пользователи вводят текстовые запросы по своему выбору и сравнивают выходные данные двух TTM-систем, а их предпочтения используются для составления рейтинга. Хотя Music Arena следует последним тенденциям оценки в других областях ИИ, мы также разработали её с ключевыми функциями, адаптированными для музыки: система маршрутизации на основе LLM для работы с разнородными типами сигнатур TTM-систем и сбор *детальных* предпочтений, включая данные о прослушивании и текстовые отзывы. Мы также предлагаем политику постепенного выпуска данных с гарантиями конфиденциальности пользователей, что обеспечивает возобновляемый источник данных о предпочтениях и повышает прозрачность платформы. Благодаря стандартизированному протоколу оценки, прозрачной политике доступа к данным и функциям, специфичным для музыки, Music Arena не только решает ключевые проблемы экосистемы TTM, но и демонстрирует, как живая оценка может быть продуманно адаптирована к уникальным характеристикам конкретных областей ИИ.
Music Arena доступна по адресу: https://music-arena.org
English
We present Music Arena, an open platform for scalable human preference
evaluation of text-to-music (TTM) models. Soliciting human preferences via
listening studies is the gold standard for evaluation in TTM, but these studies
are expensive to conduct and difficult to compare, as study protocols may
differ across systems. Moreover, human preferences might help researchers align
their TTM systems or improve automatic evaluation metrics, but an open and
renewable source of preferences does not currently exist. We aim to fill these
gaps by offering *live* evaluation for TTM. In Music Arena, real-world users
input text prompts of their choosing and compare outputs from two TTM systems,
and their preferences are used to compile a leaderboard. While Music Arena
follows recent evaluation trends in other AI domains, we also design it with
key features tailored to music: an LLM-based routing system to navigate the
heterogeneous type signatures of TTM systems, and the collection of *detailed*
preferences including listening data and natural language feedback. We also
propose a rolling data release policy with user privacy guarantees, providing a
renewable source of preference data and increasing platform transparency.
Through its standardized evaluation protocol, transparent data access policies,
and music-specific features, Music Arena not only addresses key challenges in
the TTM ecosystem but also demonstrates how live evaluation can be thoughtfully
adapted to unique characteristics of specific AI domains.
Music Arena is available at: https://music-arena.org