Leitfaden für die richtige Durchführung von Benchmark-Vereinbarungstests: Ein Leitfaden für die Bewertung von LLM-Benchmarks

Benchmark Agreement Testing Done Right: A Guide for LLM Benchmark Evaluation

July 18, 2024

Autoren: Yotam Perlitz, Ariel Gera, Ofir Arviv, Asaf Yehudai, Elron Bandel, Eyal Shnarch, Michal Shmueli-Scheuer, Leshem Choshen

cs.AI

Zusammenfassung

Die jüngsten Fortschritte bei Sprachmodellen (LMs) haben die Schaffung mehrerer Benchmarks vorangetrieben, die entworfen wurden, um die allgemeinen Fähigkeiten dieser Modelle zu bewerten. Eine entscheidende Aufgabe besteht jedoch darin, die Gültigkeit der Benchmarks selbst zu bewerten. Dies geschieht in der Regel durch Benchmark Agreement Testing (BAT), bei dem neue Benchmarks anhand etablierter Benchmarks mithilfe eines Übereinstimmungsmetriken (z. B. Rangkorrelation) validiert werden. Trotz der entscheidenden Rolle von BAT für Benchmark-Ersteller und -Nutzer gibt es keine standardisierten Verfahren für solche Übereinstimmungstests. Diese Mängel können zu ungültigen Schlussfolgerungen führen, das Vertrauen in Benchmarks untergraben und die Fähigkeit zur angemessenen Auswahl des geeigneten Benchmarks beeinträchtigen. Durch die Analyse von über 40 prominenten Benchmarks zeigen wir, wie einige übersehene methodische Entscheidungen BAT-Ergebnisse signifikant beeinflussen können und somit die Gültigkeit von Schlussfolgerungen untergraben. Um diese Inkonsistenzen anzugehen, schlagen wir eine Reihe von Best Practices für BAT vor und zeigen, wie die Anwendung dieser Methoden die Robustheit und Gültigkeit von BAT erheblich verbessert. Zur Förderung der Übernahme und zur Erleichterung zukünftiger Forschung stellen wir BenchBench vor, ein Python-Paket für BAT, und veröffentlichen das BenchBench-Leaderboard, einen Meta-Benchmark, der Benchmarks anhand ihrer Kollegen bewertet. Unsere Ergebnisse unterstreichen die Notwendigkeit einer standardisierten BAT, um die Robustheit und Gültigkeit von Benchmark-Evaluierungen in der sich entwickelnden Landschaft der Sprachmodellforschung zu gewährleisten. BenchBench-Paket: https://github.com/IBM/BenchBench Leaderboard: https://huggingface.co/spaces/per/BenchBench

English

Recent advancements in Language Models (LMs) have catalyzed the creation of multiple benchmarks, designed to assess these models' general capabilities. A crucial task, however, is assessing the validity of the benchmarks themselves. This is most commonly done via Benchmark Agreement Testing (BAT), where new benchmarks are validated against established ones using some agreement metric (e.g., rank correlation). Despite the crucial role of BAT for benchmark builders and consumers, there are no standardized procedures for such agreement testing. This deficiency can lead to invalid conclusions, fostering mistrust in benchmarks and upending the ability to properly choose the appropriate benchmark to use. By analyzing over 40 prominent benchmarks, we demonstrate how some overlooked methodological choices can significantly influence BAT results, potentially undermining the validity of conclusions. To address these inconsistencies, we propose a set of best practices for BAT and demonstrate how utilizing these methodologies greatly improves BAT robustness and validity. To foster adoption and facilitate future research,, we introduce BenchBench, a python package for BAT, and release the BenchBench-leaderboard, a meta-benchmark designed to evaluate benchmarks using their peers. Our findings underscore the necessity for standardized BAT, ensuring the robustness and validity of benchmark evaluations in the evolving landscape of language model research. BenchBench Package: https://github.com/IBM/BenchBench Leaderboard: https://huggingface.co/spaces/per/BenchBench