LiveBench: Een uitdagende, contaminatievrije LLM-benchmark

Samenvatting

Test set contaminatie, waarbij testgegevens van een benchmark terechtkomen in de trainingsset van een nieuwer model, is een goed gedocumenteerd obstakel voor een eerlijke evaluatie van LLM's en kan benchmarks snel verouderd maken. Om dit te beperken, maken veel recente benchmarks gebruik van nieuwe prompts en evaluaties die door mensen of LLM's worden gegenereerd; deze kunnen echter aanzienlijke vooroordelen introduceren en falen bij het beoordelen van moeilijke vragen. In dit werk introduceren we een nieuwe benchmark voor LLM's die ontworpen is om immuun te zijn voor zowel test set contaminatie als de valkuilen van LLM-beoordeling en menselijke crowdsourcing. We presenteren LiveBench, de eerste benchmark die (1) regelmatig bijgewerkte vragen bevat uit recente informatiebronnen, (2) antwoorden automatisch beoordeelt op basis van objectieve grondwaarheden, en (3) een breed scala aan uitdagende taken omvat, waaronder wiskunde, programmeren, redeneren, taal, instructieopvolging en data-analyse. Om dit te bereiken, bevat LiveBench vragen die gebaseerd zijn op recent vrijgegeven wiskundewedstrijden, arXiv-artikelen, nieuwsberichten en datasets, en bevat het moeilijkere, contaminatievrije versies van taken uit eerdere benchmarks zoals Big-Bench Hard, AMPS en IFEval. We evalueren veel prominente closed-source modellen, evenals tientallen open-source modellen variërend in grootte van 0,5B tot 110B. LiveBench is uitdagend, waarbij de beste modellen een nauwkeurigheid van minder dan 65% behalen. We publiceren alle vragen, code en modelantwoorden. Vragen zullen maandelijks worden toegevoegd en bijgewerkt, en we zullen nieuwe taken en moeilijkere versies van taken in de loop van de tijd uitbrengen, zodat LiveBench onderscheid kan maken tussen de mogelijkheden van LLM's naarmate ze in de toekomst verbeteren. We verwelkomen betrokkenheid en samenwerking van de gemeenschap voor het uitbreiden van de benchmarktaken en modellen.

English

Test set contamination, wherein test data from a benchmark ends up in a newer model's training set, is a well-documented obstacle for fair LLM evaluation and can quickly render benchmarks obsolete. To mitigate this, many recent benchmarks crowdsource new prompts and evaluations from human or LLM judges; however, these can introduce significant biases, and break down when scoring hard questions. In this work, we introduce a new benchmark for LLMs designed to be immune to both test set contamination and the pitfalls of LLM judging and human crowdsourcing. We release LiveBench, the first benchmark that (1) contains frequently-updated questions from recent information sources, (2) scores answers automatically according to objective ground-truth values, and (3) contains a wide variety of challenging tasks, spanning math, coding, reasoning, language, instruction following, and data analysis. To achieve this, LiveBench contains questions that are based on recently-released math competitions, arXiv papers, news articles, and datasets, and it contains harder, contamination-free versions of tasks from previous benchmarks such as Big-Bench Hard, AMPS, and IFEval. We evaluate many prominent closed-source models, as well as dozens of open-source models ranging from 0.5B to 110B in size. LiveBench is difficult, with top models achieving below 65% accuracy. We release all questions, code, and model answers. Questions will be added and updated on a monthly basis, and we will release new tasks and harder versions of tasks over time so that LiveBench can distinguish between the capabilities of LLMs as they improve in the future. We welcome community engagement and collaboration for expanding the benchmark tasks and models.

LiveBench: Een uitdagende, contaminatievrije LLM-benchmark

LiveBench: A Challenging, Contamination-Free LLM Benchmark

Samenvatting

Support