TuneJury: 음악 생성 선호도 정렬 개선을 위한 개방형 지표

초록

TuneJury를 소개합니다. 이는 텍스트-음악 변환을 위한 공개적이고 인스턴스 수준의 쌍별 보상 모델로, 텍스트 프롬프트와 오디오 클립으로부터 음악 선호도 점수를 예측합니다. 공개된 체크포인트는 공개적으로 이용 가능한 인간 선호 레이블을 기반으로 훈련되었으며, 이는 아레나 스타일(A vs. B) 투표, 메트릭 정렬 선호도 쌍, 크라우드소싱 쌍별 비교, 전문가 심미적 평가를 포함합니다. 두 클립 간의 예측 점수 차이는 보유한 테스트 분할에서 잘 보정되어, 간단한 점수 임계값을 통한 데이터 필터링을 지원합니다. TuneJury는 보유 테스트 쌍과 분포 외 벤치마크 모두에 일반화되며, 후자에서는 기존 기준선과 경쟁력을 유지합니다. 훈련 이후 출시된 생성기의 경우, 앵커 보정(anchor calibration)이라는 사후적, 시스템별 Bradley-Terry 보정을 도입하여, 처음부터 재훈련하는 것보다 훨씬 우수한 데이터 효율성으로 일치도를 회복합니다. 동일한 고정 보상 모델은 추론 시 최고-N 선택(Best-of-N), DITTO 스타일 잠재 최적화, 전문가 반복 사후 훈련 등 세 가지 하위 응용 분야에서 일관된 보상 축 성능 향상을 주도합니다. TuneJury는 https://github.com/yonghyunk1m/TuneJury에서 확인할 수 있습니다.

English

We introduce TuneJury, an open, instance-level pairwise reward model for text-to-music that predicts a music preference score from a text prompt and an audio clip. The released checkpoint is trained on publicly available human-preference labels covering arena-style (A vs. B) votes, metric-alignment preference pairs, crowdsourced pairwise comparisons, and expert aesthetic ratings. The predicted score margin between two clips is well calibrated on our held-out test split, supporting data filtering via a simple score threshold. TuneJury generalizes to both held-out test pairs and out-of-distribution benchmarks, remaining competitive with prior baselines on the latter. For generators released after training, we introduce anchor calibration, a post-hoc, per-system Bradley-Terry calibration that recovers agreement at substantially better data efficiency than from-scratch retraining. The same frozen reward drives consistent reward-axis gains across three downstream applications: inference-time best-of-N selection, DITTO-style latent optimization, and expert-iteration post-training. TuneJury is available at https://github.com/yonghyunk1m/TuneJury.