K-Sort Arena: K-単位の人間の選好を通じた生成モデルの効率的かつ信頼性のあるベンチマーキング
K-Sort Arena: Efficient and Reliable Benchmarking for Generative Models via K-wise Human Preferences
August 26, 2024
著者: Zhikai Li, Xuewen Liu, Dongrong Fu, Jianquan Li, Qingyi Gu, Kurt Keutzer, Zhen Dong
cs.AI
要旨
視覚生成モデルの急速な進歩には、効率的かつ信頼性の高い評価方法が必要とされます。ユーザーの投票によるモデル比較を集めるArenaプラットフォームは、人間の選好に基づいてモデルをランク付けすることができます。しかし、従来のArena手法は確立されていますが、ランキングの収束には過剰な比較が必要であり、投票における選好ノイズに脆弱であるため、現代の評価課題に適したより良いアプローチが必要とされています。本論文では、K-Sort Arenaを紹介し、効率的かつ信頼性の高いプラットフォームを提供します。その鍵となる洞察に基づいて、画像や動画はテキストよりも知覚的直感性が高く、複数のサンプルを迅速に評価できるという点です。そのため、K-Sort ArenaはK個のモデルが自由に競争するK-wise比較を採用し、ペアワイズ比較よりもはるかに豊富な情報を提供します。システムの堅牢性を向上させるために、確率モデリングとベイズ更新技術を活用しています。より情報豊かな比較を促進するために、探索と活用に基づくマッチメイキング戦略を提案しています。実験では、K-Sort Arenaは広く使用されているELOアルゴリズムと比較して16.3倍速く収束することが示されています。さらに優位性を検証し、包括的なリーダーボードを取得するために、最先端のテキストから画像へ、テキストから動画へのモデルの数々をクラウドソーシングされた評価を通じて収集しています。高い効率性により、K-Sort Arenaは新興モデルを継続的に取り込み、最小限の投票でリーダーボードを更新することができます。当プロジェクトは数か月にわたる内部テストを経ており、現在はhttps://huggingface.co/spaces/ksort/K-Sort-Arena で利用可能です。
English
The rapid advancement of visual generative models necessitates efficient and
reliable evaluation methods. Arena platform, which gathers user votes on model
comparisons, can rank models with human preferences. However, traditional Arena
methods, while established, require an excessive number of comparisons for
ranking to converge and are vulnerable to preference noise in voting,
suggesting the need for better approaches tailored to contemporary evaluation
challenges. In this paper, we introduce K-Sort Arena, an efficient and reliable
platform based on a key insight: images and videos possess higher perceptual
intuitiveness than texts, enabling rapid evaluation of multiple samples
simultaneously. Consequently, K-Sort Arena employs K-wise comparisons, allowing
K models to engage in free-for-all competitions, which yield much richer
information than pairwise comparisons. To enhance the robustness of the system,
we leverage probabilistic modeling and Bayesian updating techniques. We propose
an exploration-exploitation-based matchmaking strategy to facilitate more
informative comparisons. In our experiments, K-Sort Arena exhibits 16.3x faster
convergence compared to the widely used ELO algorithm. To further validate the
superiority and obtain a comprehensive leaderboard, we collect human feedback
via crowdsourced evaluations of numerous cutting-edge text-to-image and
text-to-video models. Thanks to its high efficiency, K-Sort Arena can
continuously incorporate emerging models and update the leaderboard with
minimal votes. Our project has undergone several months of internal testing and
is now available at https://huggingface.co/spaces/ksort/K-Sort-Arena