LiveBench: Сложный бенчмарк LLM без загрязнений

LiveBench: A Challenging, Contamination-Free LLM Benchmark

June 27, 2024

Авторы: Colin White, Samuel Dooley, Manley Roberts, Arka Pal, Ben Feuer, Siddhartha Jain, Ravid Shwartz-Ziv, Neel Jain, Khalid Saifullah, Siddartha Naidu, Chinmay Hegde, Yann LeCun, Tom Goldstein, Willie Neiswanger, Micah Goldblum

cs.AI

Аннотация

Загрязнение тестового набора, когда тестовые данные из стандартного набора попадают в обучающий набор новой модели, хорошо известное препятствие для справедливой оценки LLM и может быстро устареть стандартные наборы данных. Для смягчения этой проблемы многие недавние стандартные наборы данных получают новые запросы и оценки от человека или судей LLM; однако это может внести значительные искажения и потерпеть неудачу при оценке сложных вопросов. В данной работе мы представляем новый стандартный набор данных для LLM, разработанный таким образом, чтобы быть устойчивым как к загрязнению тестового набора, так и к недостаткам оценки LLM и человеческого crowdsourcing. Мы выпустили LiveBench, первый стандартный набор данных, который (1) содержит часто обновляемые вопросы из недавних источников информации, (2) автоматически оценивает ответы в соответствии с объективными истинными значениями и (3) содержит широкий спектр сложных задач, охватывающих математику, программирование, рассуждения, язык, следование инструкциям и анализ данных. Для достижения этой цели LiveBench содержит вопросы, основанные на недавно выпущенных математических соревнованиях, статьях arXiv, новостях и наборах данных, а также содержит более сложные, свободные от загрязнения версии задач из предыдущих стандартных наборов данных, таких как Big-Bench Hard, AMPS и IFEval. Мы оцениваем множество известных моделей с закрытым исходным кодом, а также десятки моделей с открытым исходным кодом размером от 0,5B до 110B. LiveBench сложен, с лучшими моделями, достигающими точности ниже 65%. Мы публикуем все вопросы, код и ответы модели. Вопросы будут добавляться и обновляться ежемесячно, и мы будем выпускать новые задачи и более сложные версии задач со временем, чтобы LiveBench мог различать способности LLM по мере их улучшения в будущем. Мы приветствуем вовлечение сообщества и сотрудничество для расширения задач и моделей стандартного набора данных.

English

Test set contamination, wherein test data from a benchmark ends up in a newer model's training set, is a well-documented obstacle for fair LLM evaluation and can quickly render benchmarks obsolete. To mitigate this, many recent benchmarks crowdsource new prompts and evaluations from human or LLM judges; however, these can introduce significant biases, and break down when scoring hard questions. In this work, we introduce a new benchmark for LLMs designed to be immune to both test set contamination and the pitfalls of LLM judging and human crowdsourcing. We release LiveBench, the first benchmark that (1) contains frequently-updated questions from recent information sources, (2) scores answers automatically according to objective ground-truth values, and (3) contains a wide variety of challenging tasks, spanning math, coding, reasoning, language, instruction following, and data analysis. To achieve this, LiveBench contains questions that are based on recently-released math competitions, arXiv papers, news articles, and datasets, and it contains harder, contamination-free versions of tasks from previous benchmarks such as Big-Bench Hard, AMPS, and IFEval. We evaluate many prominent closed-source models, as well as dozens of open-source models ranging from 0.5B to 110B in size. LiveBench is difficult, with top models achieving below 65% accuracy. We release all questions, code, and model answers. Questions will be added and updated on a monthly basis, and we will release new tasks and harder versions of tasks over time so that LiveBench can distinguish between the capabilities of LLMs as they improve in the future. We welcome community engagement and collaboration for expanding the benchmark tasks and models.