K-Sort Arena: Benchmarking Efficiente e Affidabile per Modelli Generativi tramite Preferenze Umane K-wise

K-Sort Arena: Efficient and Reliable Benchmarking for Generative Models via K-wise Human Preferences

August 26, 2024

Autori: Zhikai Li, Xuewen Liu, Dongrong Fu, Jianquan Li, Qingyi Gu, Kurt Keutzer, Zhen Dong

cs.AI

Abstract

Il rapido progresso dei modelli generativi visivi richiede metodi di valutazione efficienti e affidabili. La piattaforma Arena, che raccoglie i voti degli utenti sui confronti tra modelli, può classificare i modelli in base alle preferenze umane. Tuttavia, i metodi tradizionali di Arena, sebbene consolidati, richiedono un numero eccessivo di confronti affinché la classifica converga e sono vulnerabili al rumore nelle preferenze di voto, suggerendo la necessità di approcci migliori adattati alle sfide valutative contemporanee. In questo articolo, introduciamo K-Sort Arena, una piattaforma efficiente e affidabile basata su un'idea chiave: immagini e video possiedono una maggiore intuitività percettiva rispetto ai testi, consentendo una valutazione rapida di più campioni simultaneamente. Di conseguenza, K-Sort Arena utilizza confronti K-wise, permettendo a K modelli di competere in gare libere, che forniscono informazioni molto più ricche rispetto ai confronti a coppie. Per aumentare la robustezza del sistema, sfruttiamo tecniche di modellazione probabilistica e aggiornamento bayesiano. Proponiamo una strategia di abbinamento basata su esplorazione-sfruttamento per facilitare confronti più informativi. Nei nostri esperimenti, K-Sort Arena mostra una convergenza 16,3 volte più veloce rispetto all'algoritmo ELO ampiamente utilizzato. Per ulteriormente validare la superiorità e ottenere una classifica completa, raccogliamo feedback umani tramite valutazioni crowdsourcing di numerosi modelli all'avanguardia per la generazione di immagini e video da testo. Grazie alla sua elevata efficienza, K-Sort Arena può incorporare continuamente modelli emergenti e aggiornare la classifica con un numero minimo di voti. Il nostro progetto ha subito diversi mesi di test interni ed è ora disponibile all'indirizzo https://huggingface.co/spaces/ksort/K-Sort-Arena.

English

The rapid advancement of visual generative models necessitates efficient and reliable evaluation methods. Arena platform, which gathers user votes on model comparisons, can rank models with human preferences. However, traditional Arena methods, while established, require an excessive number of comparisons for ranking to converge and are vulnerable to preference noise in voting, suggesting the need for better approaches tailored to contemporary evaluation challenges. In this paper, we introduce K-Sort Arena, an efficient and reliable platform based on a key insight: images and videos possess higher perceptual intuitiveness than texts, enabling rapid evaluation of multiple samples simultaneously. Consequently, K-Sort Arena employs K-wise comparisons, allowing K models to engage in free-for-all competitions, which yield much richer information than pairwise comparisons. To enhance the robustness of the system, we leverage probabilistic modeling and Bayesian updating techniques. We propose an exploration-exploitation-based matchmaking strategy to facilitate more informative comparisons. In our experiments, K-Sort Arena exhibits 16.3x faster convergence compared to the widely used ELO algorithm. To further validate the superiority and obtain a comprehensive leaderboard, we collect human feedback via crowdsourced evaluations of numerous cutting-edge text-to-image and text-to-video models. Thanks to its high efficiency, K-Sort Arena can continuously incorporate emerging models and update the leaderboard with minimal votes. Our project has undergone several months of internal testing and is now available at https://huggingface.co/spaces/ksort/K-Sort-Arena