K-Sort Arena: Эффективное и надежное тестирование для генеративных моделей через K-кратные предпочтения людей

K-Sort Arena: Efficient and Reliable Benchmarking for Generative Models via K-wise Human Preferences

August 26, 2024

Авторы: Zhikai Li, Xuewen Liu, Dongrong Fu, Jianquan Li, Qingyi Gu, Kurt Keutzer, Zhen Dong

cs.AI

Аннотация

Быстрое развитие визуальных генеративных моделей требует эффективных и надежных методов оценки. Платформа Arena, собирающая голоса пользователей при сравнении моделей, способна ранжировать модели с учётом человеческих предпочтений. Однако традиционные методы Arena, хоть и установленные, требуют излишнего количества сравнений для сходимости ранжирования и уязвимы к шуму предпочтений при голосовании, что указывает на необходимость лучших подходов, адаптированных к современным вызовам оценки. В данной статье мы представляем K-Sort Arena, эффективную и надежную платформу, основанную на ключевом принципе: изображения и видео обладают более высокой воспринимаемой интуитивностью, чем тексты, позволяя быструю оценку нескольких образцов одновременно. В результате K-Sort Arena использует сравнения по K моделям, позволяя K моделям участвовать в свободных соревнованиях, которые предоставляют гораздо более богатую информацию, чем попарные сравнения. Для улучшения устойчивости системы мы используем вероятностное моделирование и техники байесовского обновления. Мы предлагаем стратегию подбора пар на основе исследования-эксплуатации для облегчения более информативных сравнений. В наших экспериментах K-Sort Arena демонстрирует сходимость в 16,3 раза быстрее по сравнению с широко используемым алгоритмом ELO. Для дальнейшей проверки превосходства и получения всестороннего рейтинга мы собираем обратную связь от людей через краудсорсинговые оценки многочисленных передовых моделей текст-в-изображение и текст-в-видео. Благодаря своей высокой эффективности K-Sort Arena может непрерывно включать новые модели и обновлять рейтинг с минимальным количеством голосов. Наш проект прошёл несколько месяцев внутреннего тестирования и теперь доступен по адресу https://huggingface.co/spaces/ksort/K-Sort-Arena.

English

The rapid advancement of visual generative models necessitates efficient and reliable evaluation methods. Arena platform, which gathers user votes on model comparisons, can rank models with human preferences. However, traditional Arena methods, while established, require an excessive number of comparisons for ranking to converge and are vulnerable to preference noise in voting, suggesting the need for better approaches tailored to contemporary evaluation challenges. In this paper, we introduce K-Sort Arena, an efficient and reliable platform based on a key insight: images and videos possess higher perceptual intuitiveness than texts, enabling rapid evaluation of multiple samples simultaneously. Consequently, K-Sort Arena employs K-wise comparisons, allowing K models to engage in free-for-all competitions, which yield much richer information than pairwise comparisons. To enhance the robustness of the system, we leverage probabilistic modeling and Bayesian updating techniques. We propose an exploration-exploitation-based matchmaking strategy to facilitate more informative comparisons. In our experiments, K-Sort Arena exhibits 16.3x faster convergence compared to the widely used ELO algorithm. To further validate the superiority and obtain a comprehensive leaderboard, we collect human feedback via crowdsourced evaluations of numerous cutting-edge text-to-image and text-to-video models. Thanks to its high efficiency, K-Sort Arena can continuously incorporate emerging models and update the leaderboard with minimal votes. Our project has undergone several months of internal testing and is now available at https://huggingface.co/spaces/ksort/K-Sort-Arena