LiveBench: Ein anspruchsvoller, kontaminationsfreier LLM-Benchmark

LiveBench: A Challenging, Contamination-Free LLM Benchmark

June 27, 2024

Autoren: Colin White, Samuel Dooley, Manley Roberts, Arka Pal, Ben Feuer, Siddhartha Jain, Ravid Shwartz-Ziv, Neel Jain, Khalid Saifullah, Siddartha Naidu, Chinmay Hegde, Yann LeCun, Tom Goldstein, Willie Neiswanger, Micah Goldblum

cs.AI

Zusammenfassung

Testset-Kontamination, bei der Testdaten aus einem Benchmark im Trainingssatz eines neueren Modells landen, ist ein gut dokumentiertes Hindernis für eine faire LLM-Bewertung und kann Benchmarks schnell veralten lassen. Um dies zu mildern, greifen viele aktuelle Benchmarks auf neue Anregungen und Bewertungen von menschlichen oder LLM-Richtern zurück; jedoch können dadurch erhebliche Voreingenommenheiten eingeführt werden und Schwierigkeiten bei der Bewertung von schwierigen Fragen auftreten. In dieser Arbeit stellen wir einen neuen Benchmark für LLMs vor, der sowohl immun gegen Testset-Kontamination als auch gegen die Fallstricke der LLM-Bewertung und menschliches Crowdsourcing konzipiert ist. Wir veröffentlichen LiveBench, den ersten Benchmark, der (1) häufig aktualisierte Fragen aus aktuellen Informationsquellen enthält, (2) Antworten automatisch gemäß objektiver Ground-Truth-Werte bewertet und (3) eine Vielzahl anspruchsvoller Aufgaben umfasst, darunter Mathematik, Codierung, Schlussfolgerung, Sprache, Anweisungsfolgen und Datenanalyse. Um dies zu erreichen, enthält LiveBench Fragen, die auf kürzlich veröffentlichten Mathematikwettbewerben, arXiv-Papieren, Nachrichtenartikeln und Datensätzen basieren, und es enthält schwierigere, kontaminationsfreie Versionen von Aufgaben aus früheren Benchmarks wie Big-Bench Hard, AMPS und IFEval. Wir evaluieren viele prominente Closed-Source-Modelle sowie Dutzende von Open-Source-Modellen mit Größen von 0,5B bis 110B. LiveBench ist anspruchsvoll, wobei Spitzenmodelle eine Genauigkeit von unter 65 % erreichen. Wir veröffentlichen alle Fragen, den Code und Modellantworten. Fragen werden monatlich hinzugefügt und aktualisiert, und im Laufe der Zeit werden neue Aufgaben und schwierigere Versionen von Aufgaben veröffentlicht, damit LiveBench die Fähigkeiten von LLMs unterscheiden kann, während sie sich in Zukunft verbessern. Wir begrüßen das Engagement und die Zusammenarbeit der Community zur Erweiterung der Benchmark-Aufgaben und Modelle.

English

Test set contamination, wherein test data from a benchmark ends up in a newer model's training set, is a well-documented obstacle for fair LLM evaluation and can quickly render benchmarks obsolete. To mitigate this, many recent benchmarks crowdsource new prompts and evaluations from human or LLM judges; however, these can introduce significant biases, and break down when scoring hard questions. In this work, we introduce a new benchmark for LLMs designed to be immune to both test set contamination and the pitfalls of LLM judging and human crowdsourcing. We release LiveBench, the first benchmark that (1) contains frequently-updated questions from recent information sources, (2) scores answers automatically according to objective ground-truth values, and (3) contains a wide variety of challenging tasks, spanning math, coding, reasoning, language, instruction following, and data analysis. To achieve this, LiveBench contains questions that are based on recently-released math competitions, arXiv papers, news articles, and datasets, and it contains harder, contamination-free versions of tasks from previous benchmarks such as Big-Bench Hard, AMPS, and IFEval. We evaluate many prominent closed-source models, as well as dozens of open-source models ranging from 0.5B to 110B in size. LiveBench is difficult, with top models achieving below 65% accuracy. We release all questions, code, and model answers. Questions will be added and updated on a monthly basis, and we will release new tasks and harder versions of tasks over time so that LiveBench can distinguish between the capabilities of LLMs as they improve in the future. We welcome community engagement and collaboration for expanding the benchmark tasks and models.