Arène de tri K-Sort : Évaluation efficace et fiable des modèles génératifs via les préférences humaines K-sages

K-Sort Arena: Efficient and Reliable Benchmarking for Generative Models via K-wise Human Preferences

August 26, 2024

Auteurs: Zhikai Li, Xuewen Liu, Dongrong Fu, Jianquan Li, Qingyi Gu, Kurt Keutzer, Zhen Dong

cs.AI

Résumé

L'avancée rapide des modèles génératifs visuels nécessite des méthodes d'évaluation efficaces et fiables. La plateforme Arena, qui recueille les votes des utilisateurs sur les comparaisons de modèles, peut classer les modèles selon les préférences humaines. Cependant, les méthodes traditionnelles d'Arena, bien établies, nécessitent un nombre excessif de comparaisons pour que le classement converge et sont vulnérables au bruit des préférences dans les votes, suggérant la nécessité de meilleures approches adaptées aux défis d'évaluation contemporains. Dans cet article, nous présentons K-Sort Arena, une plateforme efficace et fiable basée sur un aperçu clé : les images et les vidéos possèdent une plus grande intuitivité perceptuelle que les textes, permettant une évaluation rapide de plusieurs échantillons simultanément. En conséquence, K-Sort Arena utilise des comparaisons K-wise, permettant à K modèles de participer à des compétitions tous contre tous, ce qui fournit des informations beaucoup plus riches que les comparaisons par paires. Pour améliorer la robustesse du système, nous exploitons la modélisation probabiliste et les techniques de mise à jour bayésienne. Nous proposons une stratégie de jumelage basée sur l'exploration-exploitation pour faciliter des comparaisons plus informatives. Dans nos expériences, K-Sort Arena présente une convergence 16,3 fois plus rapide par rapport à l'algorithme ELO largement utilisé. Pour valider davantage la supériorité et obtenir un classement complet, nous recueillons les retours des humains via des évaluations participatives de nombreux modèles de texte vers image et de texte vers vidéo de pointe. Grâce à son efficacité élevée, K-Sort Arena peut incorporer continuellement de nouveaux modèles et mettre à jour le classement avec un nombre minimal de votes. Notre projet a fait l'objet de plusieurs mois de tests internes et est désormais disponible sur https://huggingface.co/spaces/ksort/K-Sort-Arena.

English

The rapid advancement of visual generative models necessitates efficient and reliable evaluation methods. Arena platform, which gathers user votes on model comparisons, can rank models with human preferences. However, traditional Arena methods, while established, require an excessive number of comparisons for ranking to converge and are vulnerable to preference noise in voting, suggesting the need for better approaches tailored to contemporary evaluation challenges. In this paper, we introduce K-Sort Arena, an efficient and reliable platform based on a key insight: images and videos possess higher perceptual intuitiveness than texts, enabling rapid evaluation of multiple samples simultaneously. Consequently, K-Sort Arena employs K-wise comparisons, allowing K models to engage in free-for-all competitions, which yield much richer information than pairwise comparisons. To enhance the robustness of the system, we leverage probabilistic modeling and Bayesian updating techniques. We propose an exploration-exploitation-based matchmaking strategy to facilitate more informative comparisons. In our experiments, K-Sort Arena exhibits 16.3x faster convergence compared to the widely used ELO algorithm. To further validate the superiority and obtain a comprehensive leaderboard, we collect human feedback via crowdsourced evaluations of numerous cutting-edge text-to-image and text-to-video models. Thanks to its high efficiency, K-Sort Arena can continuously incorporate emerging models and update the leaderboard with minimal votes. Our project has undergone several months of internal testing and is now available at https://huggingface.co/spaces/ksort/K-Sort-Arena