K-Sort Arena: Benchmarking Eficiente e Confiável para Modelos Generativos via Preferências Humanas K-sábia

K-Sort Arena: Efficient and Reliable Benchmarking for Generative Models via K-wise Human Preferences

August 26, 2024

Autores: Zhikai Li, Xuewen Liu, Dongrong Fu, Jianquan Li, Qingyi Gu, Kurt Keutzer, Zhen Dong

cs.AI

Resumo

O rápido avanço dos modelos generativos visuais torna necessária a utilização de métodos de avaliação eficientes e confiáveis. A plataforma Arena, que coleta votos de usuários em comparações de modelos, pode classificar os modelos de acordo com as preferências humanas. No entanto, os métodos tradicionais da Arena, embora estabelecidos, exigem um número excessivo de comparações para a convergência da classificação e são vulneráveis a ruídos de preferência nas votações, sugerindo a necessidade de abordagens melhores adaptadas aos desafios de avaliação contemporâneos. Neste artigo, apresentamos o K-Sort Arena, uma plataforma eficiente e confiável baseada em uma percepção fundamental: imagens e vídeos possuem maior intuição perceptual do que textos, permitindo a avaliação rápida de múltiplas amostras simultaneamente. Consequentemente, o K-Sort Arena emprega comparações de K-ésimos, permitindo que K modelos participem de competições de todos contra todos, o que proporciona informações muito mais ricas do que as comparações em pares. Para aprimorar a robustez do sistema, utilizamos modelagem probabilística e técnicas de atualização Bayesiana. Propomos uma estratégia de matchmaking baseada em exploração-exploração para facilitar comparações mais informativas. Em nossos experimentos, o K-Sort Arena apresenta uma convergência 16,3 vezes mais rápida em comparação com o amplamente utilizado algoritmo ELO. Para validar ainda mais a superioridade e obter uma classificação abrangente, coletamos feedback humano por meio de avaliações crowdsourced de inúmeros modelos de texto-para-imagem e texto-para-vídeo de ponta. Graças à sua alta eficiência, o K-Sort Arena pode incorporar continuamente modelos emergentes e atualizar a classificação com um número mínimo de votos. Nosso projeto passou por vários meses de testes internos e agora está disponível em https://huggingface.co/spaces/ksort/K-Sort-Arena.

English

The rapid advancement of visual generative models necessitates efficient and reliable evaluation methods. Arena platform, which gathers user votes on model comparisons, can rank models with human preferences. However, traditional Arena methods, while established, require an excessive number of comparisons for ranking to converge and are vulnerable to preference noise in voting, suggesting the need for better approaches tailored to contemporary evaluation challenges. In this paper, we introduce K-Sort Arena, an efficient and reliable platform based on a key insight: images and videos possess higher perceptual intuitiveness than texts, enabling rapid evaluation of multiple samples simultaneously. Consequently, K-Sort Arena employs K-wise comparisons, allowing K models to engage in free-for-all competitions, which yield much richer information than pairwise comparisons. To enhance the robustness of the system, we leverage probabilistic modeling and Bayesian updating techniques. We propose an exploration-exploitation-based matchmaking strategy to facilitate more informative comparisons. In our experiments, K-Sort Arena exhibits 16.3x faster convergence compared to the widely used ELO algorithm. To further validate the superiority and obtain a comprehensive leaderboard, we collect human feedback via crowdsourced evaluations of numerous cutting-edge text-to-image and text-to-video models. Thanks to its high efficiency, K-Sort Arena can continuously incorporate emerging models and update the leaderboard with minimal votes. Our project has undergone several months of internal testing and is now available at https://huggingface.co/spaces/ksort/K-Sort-Arena