K-Sort Arena: Effizientes und zuverlässiges Benchmarking für generative Modelle über K-weise menschliche Präferenzen

K-Sort Arena: Efficient and Reliable Benchmarking for Generative Models via K-wise Human Preferences

August 26, 2024

Autoren: Zhikai Li, Xuewen Liu, Dongrong Fu, Jianquan Li, Qingyi Gu, Kurt Keutzer, Zhen Dong

cs.AI

Zusammenfassung

Der rasante Fortschritt von visuellen generativen Modellen erfordert effiziente und zuverlässige Evaluationsmethoden. Die Arena-Plattform, die Benutzerstimmen zu Modellvergleichen sammelt, kann Modelle gemäß menschlicher Präferenzen einstufen. Allerdings erfordern herkömmliche Arena-Methoden, obwohl etabliert, eine übermäßige Anzahl von Vergleichen, damit die Rangliste konvergiert, und sind anfällig für Präferenzrauschen bei Abstimmungen. Dies legt die Notwendigkeit besserer Ansätze nahe, die auf zeitgenössische Evaluationsherausforderungen zugeschnitten sind. In diesem Papier stellen wir K-Sort Arena vor, eine effiziente und zuverlässige Plattform, die auf einem Schlüsselerkenntnis basiert: Bilder und Videos besitzen eine höhere Wahrnehmungsintuitivität als Texte, was eine schnelle Bewertung mehrerer Proben gleichzeitig ermöglicht. Folglich verwendet K-Sort Arena K-weise Vergleiche, die es K-Modellen ermöglichen, an Frei-für-alle-Wettbewerben teilzunehmen, die wesentlich reichhaltigere Informationen liefern als paarweise Vergleiche. Um die Robustheit des Systems zu verbessern, nutzen wir probabilistische Modellierung und bayesianische Aktualisierungstechniken. Wir schlagen eine Erkundungs-Exploitations-basierte Matchmaking-Strategie vor, um informativere Vergleiche zu erleichtern. In unseren Experimenten zeigt K-Sort Arena eine 16,3-fach schnellere Konvergenz im Vergleich zum weit verbreiteten ELO-Algorithmus. Um die Überlegenheit weiter zu validieren und eine umfassende Rangliste zu erhalten, sammeln wir menschliches Feedback durch Crowdsourcing-Evaluationen zahlreicher moderner Text-zu-Bild- und Text-zu-Video-Modelle. Dank seiner hohen Effizienz kann K-Sort Arena kontinuierlich aufkommende Modelle integrieren und die Rangliste mit minimalen Stimmen aktualisieren. Unser Projekt hat mehrere Monate interne Tests durchlaufen und ist jetzt unter https://huggingface.co/spaces/ksort/K-Sort-Arena verfügbar.

English

The rapid advancement of visual generative models necessitates efficient and reliable evaluation methods. Arena platform, which gathers user votes on model comparisons, can rank models with human preferences. However, traditional Arena methods, while established, require an excessive number of comparisons for ranking to converge and are vulnerable to preference noise in voting, suggesting the need for better approaches tailored to contemporary evaluation challenges. In this paper, we introduce K-Sort Arena, an efficient and reliable platform based on a key insight: images and videos possess higher perceptual intuitiveness than texts, enabling rapid evaluation of multiple samples simultaneously. Consequently, K-Sort Arena employs K-wise comparisons, allowing K models to engage in free-for-all competitions, which yield much richer information than pairwise comparisons. To enhance the robustness of the system, we leverage probabilistic modeling and Bayesian updating techniques. We propose an exploration-exploitation-based matchmaking strategy to facilitate more informative comparisons. In our experiments, K-Sort Arena exhibits 16.3x faster convergence compared to the widely used ELO algorithm. To further validate the superiority and obtain a comprehensive leaderboard, we collect human feedback via crowdsourced evaluations of numerous cutting-edge text-to-image and text-to-video models. Thanks to its high efficiency, K-Sort Arena can continuously incorporate emerging models and update the leaderboard with minimal votes. Our project has undergone several months of internal testing and is now available at https://huggingface.co/spaces/ksort/K-Sort-Arena