LiveBench: Um Desafio, Benchmark Livre de Contaminação para Modelos de Linguagem de Longo Prazo

Resumo

A contaminação do conjunto de testes, em que dados de teste de um benchmark acabam no conjunto de treinamento de um modelo mais recente, é um obstáculo bem documentado para a avaliação justa de LLM e pode rapidamente tornar benchmarks obsoletos. Para mitigar isso, muitos benchmarks recentes coletam novos estímulos e avaliações de juízes humanos ou LLM; no entanto, esses podem introduzir viés significativo e falhar na pontuação de questões difíceis. Neste trabalho, apresentamos um novo benchmark para LLMs projetado para ser imune tanto à contaminação do conjunto de testes quanto às armadilhas da avaliação de LLM e da coleta de dados humanos. Lançamos o LiveBench, o primeiro benchmark que (1) contém perguntas frequentemente atualizadas de fontes de informação recentes, (2) pontua respostas automaticamente de acordo com valores objetivos de referência e (3) contém uma ampla variedade de tarefas desafiadoras, abrangendo matemática, codificação, raciocínio, linguagem, seguimento de instruções e análise de dados. Para alcançar isso, o LiveBench contém perguntas baseadas em competições matemáticas recentemente lançadas, artigos arXiv, notícias e conjuntos de dados, e contém versões mais difíceis e livres de contaminação de tarefas de benchmarks anteriores, como Big-Bench Hard, AMPS e IFEval. Avaliamos muitos modelos proeminentes de código fechado, bem como dezenas de modelos de código aberto variando de 0,5B a 110B em tamanho. O LiveBench é desafiador, com os melhores modelos alcançando abaixo de 65% de precisão. Disponibilizamos todas as perguntas, código e respostas do modelo. As perguntas serão adicionadas e atualizadas mensalmente, e lançaremos novas tarefas e versões mais difíceis das tarefas ao longo do tempo para que o LiveBench possa distinguir entre as capacidades dos LLMs à medida que melhoram no futuro. Recebemos com satisfação o envolvimento e a colaboração da comunidade para expandir as tarefas e modelos do benchmark.

English

Test set contamination, wherein test data from a benchmark ends up in a newer model's training set, is a well-documented obstacle for fair LLM evaluation and can quickly render benchmarks obsolete. To mitigate this, many recent benchmarks crowdsource new prompts and evaluations from human or LLM judges; however, these can introduce significant biases, and break down when scoring hard questions. In this work, we introduce a new benchmark for LLMs designed to be immune to both test set contamination and the pitfalls of LLM judging and human crowdsourcing. We release LiveBench, the first benchmark that (1) contains frequently-updated questions from recent information sources, (2) scores answers automatically according to objective ground-truth values, and (3) contains a wide variety of challenging tasks, spanning math, coding, reasoning, language, instruction following, and data analysis. To achieve this, LiveBench contains questions that are based on recently-released math competitions, arXiv papers, news articles, and datasets, and it contains harder, contamination-free versions of tasks from previous benchmarks such as Big-Bench Hard, AMPS, and IFEval. We evaluate many prominent closed-source models, as well as dozens of open-source models ranging from 0.5B to 110B in size. LiveBench is difficult, with top models achieving below 65% accuracy. We release all questions, code, and model answers. Questions will be added and updated on a monthly basis, and we will release new tasks and harder versions of tasks over time so that LiveBench can distinguish between the capabilities of LLMs as they improve in the future. We welcome community engagement and collaboration for expanding the benchmark tasks and models.

LiveBench: Um Desafio, Benchmark Livre de Contaminação para Modelos de Linguagem de Longo Prazo

LiveBench: A Challenging, Contamination-Free LLM Benchmark

Resumo

Support