LiveBench: Un Benchmark Sfidante e Libero da Contaminazioni per Modelli Linguistici

Abstract

La contaminazione del set di test, in cui i dati di test di un benchmark finiscono nel set di addestramento di un modello più recente, è un ostacolo ben documentato per una valutazione equa degli LLM e può rapidamente rendere obsoleti i benchmark. Per mitigare questo problema, molti benchmark recenti raccolgono nuovi prompt e valutazioni tramite il crowdsourcing di giudici umani o LLM; tuttavia, questi possono introdurre significativi bias e falliscono nel valutare domande difficili. In questo lavoro, introduciamo un nuovo benchmark per LLM progettato per essere immune sia alla contaminazione del set di test che alle insidie del giudizio degli LLM e del crowdsourcing umano. Rilasciamo LiveBench, il primo benchmark che (1) contiene domande aggiornate frequentemente da fonti di informazione recenti, (2) valuta le risposte automaticamente secondo valori di verità oggettivi, e (3) include una vasta gamma di compiti impegnativi, che spaziano dalla matematica alla programmazione, al ragionamento, al linguaggio, al seguire istruzioni e all'analisi dei dati. Per raggiungere questo obiettivo, LiveBench contiene domande basate su competizioni matematiche recenti, articoli di arXiv, notizie e dataset, e include versioni più difficili e prive di contaminazione di compiti provenienti da benchmark precedenti come Big-Bench Hard, AMPS e IFEval. Valutiamo molti modelli closed-source di rilievo, così come dozzine di modelli open-source che vanno da 0,5B a 110B di parametri. LiveBench è impegnativo, con i modelli migliori che raggiungono un'accuratezza inferiore al 65%. Rilasciamo tutte le domande, il codice e le risposte dei modelli. Le domande verranno aggiunte e aggiornate mensilmente, e rilasceremo nuovi compiti e versioni più difficili dei compiti nel tempo, in modo che LiveBench possa distinguere le capacità degli LLM man mano che migliorano in futuro. Accogliamo con favore il coinvolgimento e la collaborazione della comunità per espandere i compiti e i modelli del benchmark.

English

Test set contamination, wherein test data from a benchmark ends up in a newer model's training set, is a well-documented obstacle for fair LLM evaluation and can quickly render benchmarks obsolete. To mitigate this, many recent benchmarks crowdsource new prompts and evaluations from human or LLM judges; however, these can introduce significant biases, and break down when scoring hard questions. In this work, we introduce a new benchmark for LLMs designed to be immune to both test set contamination and the pitfalls of LLM judging and human crowdsourcing. We release LiveBench, the first benchmark that (1) contains frequently-updated questions from recent information sources, (2) scores answers automatically according to objective ground-truth values, and (3) contains a wide variety of challenging tasks, spanning math, coding, reasoning, language, instruction following, and data analysis. To achieve this, LiveBench contains questions that are based on recently-released math competitions, arXiv papers, news articles, and datasets, and it contains harder, contamination-free versions of tasks from previous benchmarks such as Big-Bench Hard, AMPS, and IFEval. We evaluate many prominent closed-source models, as well as dozens of open-source models ranging from 0.5B to 110B in size. LiveBench is difficult, with top models achieving below 65% accuracy. We release all questions, code, and model answers. Questions will be added and updated on a monthly basis, and we will release new tasks and harder versions of tasks over time so that LiveBench can distinguish between the capabilities of LLMs as they improve in the future. We welcome community engagement and collaboration for expanding the benchmark tasks and models.

LiveBench: Un Benchmark Sfidante e Libero da Contaminazioni per Modelli Linguistici

LiveBench: A Challenging, Contamination-Free LLM Benchmark

Abstract

Support