LiveBench：汚染のない挑戦的なLLMベンチマーク

LiveBench: A Challenging, Contamination-Free LLM Benchmark

June 27, 2024

著者: Colin White, Samuel Dooley, Manley Roberts, Arka Pal, Ben Feuer, Siddhartha Jain, Ravid Shwartz-Ziv, Neel Jain, Khalid Saifullah, Siddartha Naidu, Chinmay Hegde, Yann LeCun, Tom Goldstein, Willie Neiswanger, Micah Goldblum

cs.AI

要旨

テストセットの汚染、すなわちベンチマークのテストデータが新しいモデルのトレーニングセットに混入してしまう現象は、公平なLLM評価におけるよく知られた障害であり、ベンチマークを急速に陳腐化させることがあります。これを緩和するため、最近の多くのベンチマークでは、人間やLLMの審判から新しいプロンプトや評価をクラウドソーシングしています。しかし、これらは重大なバイアスを導入する可能性があり、難しい質問の採点において破綻することがあります。本研究では、テストセットの汚染とLLM審判や人間のクラウドソーシングの落とし穴の両方に対して免疫を持つように設計された新しいLLMベンチマークを紹介します。私たちはLiveBenchをリリースします。これは、(1) 最新の情報源から頻繁に更新される質問を含み、(2) 客観的な正解値に基づいて回答を自動的に採点し、(3) 数学、コーディング、推論、言語、指示の遵守、データ分析など、多様な挑戦的なタスクを含む初のベンチマークです。これを実現するため、LiveBenchには、最近リリースされた数学コンテスト、arXiv論文、ニュース記事、データセットに基づく質問が含まれており、Big-Bench Hard、AMPS、IFEvalなどの以前のベンチマークからのタスクのより難しく、汚染のないバージョンも含まれています。私たちは多くの著名なクローズドソースモデル、および0.5Bから110Bまでの数十のオープンソースモデルを評価しました。LiveBenchは難易度が高く、トップモデルでも65%以下の精度しか達成できませんでした。すべての質問、コード、モデルの回答を公開します。質問は毎月追加・更新され、新しいタスクやより難しいバージョンのタスクを随時リリースするため、LiveBenchは将来LLMの能力が向上するにつれてその違いを識別できるようになります。ベンチマークタスクとモデルの拡大に向けたコミュニティの参加と協力を歓迎します。

English

Test set contamination, wherein test data from a benchmark ends up in a newer model's training set, is a well-documented obstacle for fair LLM evaluation and can quickly render benchmarks obsolete. To mitigate this, many recent benchmarks crowdsource new prompts and evaluations from human or LLM judges; however, these can introduce significant biases, and break down when scoring hard questions. In this work, we introduce a new benchmark for LLMs designed to be immune to both test set contamination and the pitfalls of LLM judging and human crowdsourcing. We release LiveBench, the first benchmark that (1) contains frequently-updated questions from recent information sources, (2) scores answers automatically according to objective ground-truth values, and (3) contains a wide variety of challenging tasks, spanning math, coding, reasoning, language, instruction following, and data analysis. To achieve this, LiveBench contains questions that are based on recently-released math competitions, arXiv papers, news articles, and datasets, and it contains harder, contamination-free versions of tasks from previous benchmarks such as Big-Bench Hard, AMPS, and IFEval. We evaluate many prominent closed-source models, as well as dozens of open-source models ranging from 0.5B to 110B in size. LiveBench is difficult, with top models achieving below 65% accuracy. We release all questions, code, and model answers. Questions will be added and updated on a monthly basis, and we will release new tasks and harder versions of tasks over time so that LiveBench can distinguish between the capabilities of LLMs as they improve in the future. We welcome community engagement and collaboration for expanding the benchmark tasks and models.