Тестирование согласованности бенчмарков: Руководство по оценке бенчмарков LLM

Benchmark Agreement Testing Done Right: A Guide for LLM Benchmark Evaluation

July 18, 2024

Авторы: Yotam Perlitz, Ariel Gera, Ofir Arviv, Asaf Yehudai, Elron Bandel, Eyal Shnarch, Michal Shmueli-Scheuer, Leshem Choshen

cs.AI

Аннотация

Недавние достижения в области языковых моделей (LMs) стимулировали создание нескольких бенчмарков, разработанных для оценки общих возможностей этих моделей. Однако критической задачей является оценка достоверности самих бенчмарков. Это обычно делается с помощью тестирования согласованности бенчмарков (Benchmark Agreement Testing, BAT), где новые бенчмарки проверяются на соответствие установленным с использованием какого-либо метрического показателя согласованности (например, ранговой корреляции). Несмотря на важную роль BAT для создателей и пользователей бенчмарков, не существует стандартизированных процедур для такого тестирования согласованности. Этот недостаток может привести к недействительным выводам, способствуя недоверию к бенчмаркам и нарушая возможность правильного выбора подходящего бенчмарка для использования. Анализируя более 40 важных бенчмарков, мы демонстрируем, как некоторые недооцененные методологические выборы могут значительно влиять на результаты BAT, потенциально подрывая достоверность выводов. Для устранения этих несоответствий мы предлагаем набор лучших практик для BAT и демонстрируем, как использование этих методологий значительно повышает устойчивость и достоверность BAT. Для поощрения принятия и облегчения будущих исследований мы представляем BenchBench, пакет на языке Python для BAT, и выпускаем таблицу лидеров BenchBench, мета-бенчмарк, разработанный для оценки бенчмарков с использованием их коллег. Наши результаты подчеркивают необходимость стандартизированного BAT, обеспечивая устойчивость и достоверность оценок бенчмарков в развивающемся ландшафте исследований языковых моделей. Пакет BenchBench: https://github.com/IBM/BenchBench Таблица лидеров: https://huggingface.co/spaces/per/BenchBench

English

Recent advancements in Language Models (LMs) have catalyzed the creation of multiple benchmarks, designed to assess these models' general capabilities. A crucial task, however, is assessing the validity of the benchmarks themselves. This is most commonly done via Benchmark Agreement Testing (BAT), where new benchmarks are validated against established ones using some agreement metric (e.g., rank correlation). Despite the crucial role of BAT for benchmark builders and consumers, there are no standardized procedures for such agreement testing. This deficiency can lead to invalid conclusions, fostering mistrust in benchmarks and upending the ability to properly choose the appropriate benchmark to use. By analyzing over 40 prominent benchmarks, we demonstrate how some overlooked methodological choices can significantly influence BAT results, potentially undermining the validity of conclusions. To address these inconsistencies, we propose a set of best practices for BAT and demonstrate how utilizing these methodologies greatly improves BAT robustness and validity. To foster adoption and facilitate future research,, we introduce BenchBench, a python package for BAT, and release the BenchBench-leaderboard, a meta-benchmark designed to evaluate benchmarks using their peers. Our findings underscore the necessity for standardized BAT, ensuring the robustness and validity of benchmark evaluations in the evolving landscape of language model research. BenchBench Package: https://github.com/IBM/BenchBench Leaderboard: https://huggingface.co/spaces/per/BenchBench