K-Sort Arena: Efficiënte en Betrouwbare Benchmarking voor Generatieve Modellen via K-wise Menselijke Voorkeuren

K-Sort Arena: Efficient and Reliable Benchmarking for Generative Models via K-wise Human Preferences

August 26, 2024

Auteurs: Zhikai Li, Xuewen Liu, Dongrong Fu, Jianquan Li, Qingyi Gu, Kurt Keutzer, Zhen Dong

cs.AI

Samenvatting

De snelle vooruitgang van visuele generatieve modellen vereist efficiënte en betrouwbare evaluatiemethoden. Het Arena-platform, dat gebruikersstemmen verzamelt over modelvergelijkingen, kan modellen rangschikken op basis van menselijke voorkeuren. Traditionele Arena-methoden, hoewel gevestigd, vereisen echter een buitensporig aantal vergelijkingen om de rangschikking te laten convergeren en zijn kwetsbaar voor voorkeursruis in de stemmen, wat de noodzaak suggereert van betere benaderingen die zijn afgestemd op hedendaagse evaluatie-uitdagingen. In dit artikel introduceren we K-Sort Arena, een efficiënt en betrouwbaar platform gebaseerd op een belangrijk inzicht: afbeeldingen en video's hebben een hogere perceptuele intuïtiviteit dan tekst, waardoor snelle evaluatie van meerdere samples tegelijk mogelijk is. K-Sort Arena maakt daarom gebruik van K-wise vergelijkingen, waarbij K modellen deelnemen aan vrije competities, wat veel rijkere informatie oplevert dan paarsgewijze vergelijkingen. Om de robuustheid van het systeem te vergroten, maken we gebruik van probabilistische modellering en Bayesiaanse updatetechnieken. We stellen een op exploratie-exploitatie gebaseerde matchmakingstrategie voor om meer informatieve vergelijkingen te faciliteren. In onze experimenten vertoont K-Sort Arena een 16,3 keer snellere convergentie vergeleken met het veelgebruikte ELO-algoritme. Om de superioriteit verder te valideren en een uitgebreide ranglijst te verkrijgen, verzamelen we menselijke feedback via crowdsourced evaluaties van talrijke state-of-the-art tekst-naar-beeld en tekst-naar-video modellen. Dankzij de hoge efficiëntie kan K-Sort Arena continu nieuwe modellen integreren en de ranglijst bijwerken met minimale stemmen. Ons project heeft enkele maanden van interne tests ondergaan en is nu beschikbaar op https://huggingface.co/spaces/ksort/K-Sort-Arena.

English

The rapid advancement of visual generative models necessitates efficient and reliable evaluation methods. Arena platform, which gathers user votes on model comparisons, can rank models with human preferences. However, traditional Arena methods, while established, require an excessive number of comparisons for ranking to converge and are vulnerable to preference noise in voting, suggesting the need for better approaches tailored to contemporary evaluation challenges. In this paper, we introduce K-Sort Arena, an efficient and reliable platform based on a key insight: images and videos possess higher perceptual intuitiveness than texts, enabling rapid evaluation of multiple samples simultaneously. Consequently, K-Sort Arena employs K-wise comparisons, allowing K models to engage in free-for-all competitions, which yield much richer information than pairwise comparisons. To enhance the robustness of the system, we leverage probabilistic modeling and Bayesian updating techniques. We propose an exploration-exploitation-based matchmaking strategy to facilitate more informative comparisons. In our experiments, K-Sort Arena exhibits 16.3x faster convergence compared to the widely used ELO algorithm. To further validate the superiority and obtain a comprehensive leaderboard, we collect human feedback via crowdsourced evaluations of numerous cutting-edge text-to-image and text-to-video models. Thanks to its high efficiency, K-Sort Arena can continuously incorporate emerging models and update the leaderboard with minimal votes. Our project has undergone several months of internal testing and is now available at https://huggingface.co/spaces/ksort/K-Sort-Arena