LiveBench: Un punto de referencia desafiante y libre de contaminación para modelos de lenguaje grandes

LiveBench: A Challenging, Contamination-Free LLM Benchmark

June 27, 2024

Autores: Colin White, Samuel Dooley, Manley Roberts, Arka Pal, Ben Feuer, Siddhartha Jain, Ravid Shwartz-Ziv, Neel Jain, Khalid Saifullah, Siddartha Naidu, Chinmay Hegde, Yann LeCun, Tom Goldstein, Willie Neiswanger, Micah Goldblum

cs.AI

Resumen

La contaminación del conjunto de prueba, en la que los datos de prueba de un benchmark terminan en el conjunto de entrenamiento de un modelo más reciente, es un obstáculo bien documentado para la evaluación justa de los LLM y puede volver rápidamente obsoletos los benchmarks. Para mitigar esto, muchos benchmarks recientes obtienen nuevas preguntas y evaluaciones mediante crowdsourcing de jueces humanos o LLM; sin embargo, estos pueden introducir sesgos significativos y fallar al calificar preguntas difíciles. En este trabajo, presentamos un nuevo benchmark para LLM diseñado para ser inmune tanto a la contaminación del conjunto de prueba como a los problemas de la evaluación por LLM y el crowdsourcing humano. Lanzamos LiveBench, el primer benchmark que (1) contiene preguntas actualizadas frecuentemente a partir de fuentes de información recientes, (2) califica las respuestas automáticamente según valores objetivos de verdad fundamental, y (3) incluye una amplia variedad de tareas desafiantes, que abarcan matemáticas, programación, razonamiento, lenguaje, seguimiento de instrucciones y análisis de datos. Para lograr esto, LiveBench contiene preguntas basadas en competiciones matemáticas recientes, artículos de arXiv, noticias y conjuntos de datos, e incluye versiones más difíciles y libres de contaminación de tareas de benchmarks anteriores como Big-Bench Hard, AMPS e IFEval. Evaluamos muchos modelos cerrados destacados, así como docenas de modelos de código abierto que van desde 0.5B hasta 110B en tamaño. LiveBench es difícil, con los mejores modelos logrando una precisión inferior al 65%. Publicamos todas las preguntas, el código y las respuestas de los modelos. Las preguntas se agregarán y actualizarán mensualmente, y lanzaremos nuevas tareas y versiones más difíciles de tareas con el tiempo para que LiveBench pueda distinguir entre las capacidades de los LLM a medida que mejoren en el futuro. Damos la bienvenida a la participación y colaboración de la comunidad para expandir las tareas y modelos del benchmark.

English

Test set contamination, wherein test data from a benchmark ends up in a newer model's training set, is a well-documented obstacle for fair LLM evaluation and can quickly render benchmarks obsolete. To mitigate this, many recent benchmarks crowdsource new prompts and evaluations from human or LLM judges; however, these can introduce significant biases, and break down when scoring hard questions. In this work, we introduce a new benchmark for LLMs designed to be immune to both test set contamination and the pitfalls of LLM judging and human crowdsourcing. We release LiveBench, the first benchmark that (1) contains frequently-updated questions from recent information sources, (2) scores answers automatically according to objective ground-truth values, and (3) contains a wide variety of challenging tasks, spanning math, coding, reasoning, language, instruction following, and data analysis. To achieve this, LiveBench contains questions that are based on recently-released math competitions, arXiv papers, news articles, and datasets, and it contains harder, contamination-free versions of tasks from previous benchmarks such as Big-Bench Hard, AMPS, and IFEval. We evaluate many prominent closed-source models, as well as dozens of open-source models ranging from 0.5B to 110B in size. LiveBench is difficult, with top models achieving below 65% accuracy. We release all questions, code, and model answers. Questions will be added and updated on a monthly basis, and we will release new tasks and harder versions of tasks over time so that LiveBench can distinguish between the capabilities of LLMs as they improve in the future. We welcome community engagement and collaboration for expanding the benchmark tasks and models.