クラウドソーシングデータから高品質なベンチマークへ：Arena-HardとBenchBuilderパイプライン

From Crowdsourced Data to High-Quality Benchmarks: Arena-Hard and BenchBuilder Pipeline

June 17, 2024

著者: Tianle Li, Wei-Lin Chiang, Evan Frick, Lisa Dunlap, Tianhao Wu, Banghua Zhu, Joseph E. Gonzalez, Ion Stoica

cs.AI

要旨

言語モデルの急速な進化に伴い、より挑戦的なベンチマークの開発が求められています。現在の静的なベンチマークは、異なるモデルの能力を一貫して区別することが難しく、現実世界のユーザー嗜好と一致しないことがしばしばあります。一方、Chatbot Arenaのようなライブのクラウドソーシングプラットフォームは、多様な自然なプロンプトとユーザーフィードバックを収集しています。しかし、これらのプロンプトは洗練度がまちまちであり、フィードバックをオフラインで新しいモデルに適用することはできません。ベンチマークがLLM開発のペースに追いつくことを保証するために、我々はベンチマークがモデルを確信を持って区別し、人間の嗜好と一致する能力をどのように評価できるかについて取り組みました。これらの原則に基づき、我々はBenchBuilderを開発しました。これは、ライブデータソースから高品質なプロンプトをフィルタリングし、新鮮で挑戦的なプロンプトでのオフライン評価を可能にする「生きたベンチマーク」です。BenchBuilderは、ドメイン知識の必要性など、高品質なプロンプトの7つの指標を特定し、LLMアノテーターを利用して様々なトピッククラスターから高品質なプロンプトのサブセットを選択します。LLM評価プロセスでは、LLMジャッジを採用し、完全に自動化された高品質で常に更新されるベンチマークを確保します。我々はBenchBuilderをChatbot Arenaのプロンプトに適用し、Arena-Hard-Auto v0.1を作成しました。これは、多様なタスクから選ばれた500の挑戦的なユーザープロンプトです。Arena-Hard-Auto v0.1は、MT-Benchと比べて3倍狭い信頼区間を提供し、人間の嗜好ランキングとの一致率は89.1%という最先端の結果を達成しました。これらはわずか25ドルのコストで、人間のラベラーを必要とせずに実現されています。BenchBuilderパイプラインは評価ベンチマークを強化し、開発者が最小限の労力で大量のデータから高品質なベンチマークを抽出するための貴重なツールを提供します。

English

The rapid evolution of language models has necessitated the development of more challenging benchmarks. Current static benchmarks often struggle to consistently distinguish between the capabilities of different models and fail to align with real-world user preferences. On the other hand, live crowd-sourced platforms like the Chatbot Arena collect a wide range of natural prompts and user feedback. However, these prompts vary in sophistication and the feedback cannot be applied offline to new models. In order to ensure that benchmarks keep up with the pace of LLM development, we address how one can evaluate benchmarks on their ability to confidently separate models and their alignment with human preference. Under these principles, we developed BenchBuilder, a living benchmark that filters high-quality prompts from live data sources to enable offline evaluation on fresh, challenging prompts. BenchBuilder identifies seven indicators of a high-quality prompt, such as the requirement for domain knowledge, and utilizes an LLM annotator to select a high-quality subset of prompts from various topic clusters. The LLM evaluation process employs an LLM judge to ensure a fully automated, high-quality, and constantly updating benchmark. We apply BenchBuilder on prompts from the Chatbot Arena to create Arena-Hard-Auto v0.1: 500 challenging user prompts from a wide range of tasks. Arena-Hard-Auto v0.1 offers 3x tighter confidence intervals than MT-Bench and achieves a state-of-the-art 89.1% agreement with human preference rankings, all at a cost of only $25 and without human labelers. The BenchBuilder pipeline enhances evaluation benchmarks and provides a valuable tool for developers, enabling them to extract high-quality benchmarks from extensive data with minimal effort.