Benchmark Overeenkomststesten Goed Uitgevoerd: Een Gids voor LLM Benchmark Evaluatie

Samenvatting

Recente vooruitgang in Taalmodellen (LMs) heeft de creatie van meerdere benchmarks gestimuleerd, die zijn ontworpen om de algemene capaciteiten van deze modellen te beoordelen. Een cruciale taak is echter het beoordelen van de geldigheid van de benchmarks zelf. Dit wordt meestal gedaan via Benchmark Agreement Testing (BAT), waarbij nieuwe benchmarks worden gevalideerd tegenover gevestigde benchmarks met behulp van een overeenstemmingsmetriek (bijvoorbeeld rangcorrelatie). Ondanks de cruciale rol van BAT voor benchmarkbouwers en -gebruikers, zijn er geen gestandaardiseerde procedures voor dergelijke overeenstemmingstests. Dit gebrek kan leiden tot ongeldige conclusies, wat wantrouwen in benchmarks bevordert en het vermogen om de juiste benchmark te kiezen ondermijnt. Door meer dan 40 prominente benchmarks te analyseren, laten we zien hoe sommige over het hoofd geziene methodologische keuzes de BAT-resultaten aanzienlijk kunnen beïnvloeden, wat de geldigheid van conclusies potentieel kan ondermijnen. Om deze inconsistenties aan te pakken, stellen we een reeks best practices voor BAT voor en demonstreren we hoe het gebruik van deze methodologieën de robuustheid en geldigheid van BAT aanzienlijk verbetert. Om adoptie te bevorderen en toekomstig onderzoek te vergemakkelijken, introduceren we BenchBench, een Python-pakket voor BAT, en lanceren we de BenchBench-leaderboard, een meta-benchmark die is ontworpen om benchmarks te evalueren aan de hand van hun peers. Onze bevindingen benadrukken de noodzaak van gestandaardiseerde BAT, om de robuustheid en geldigheid van benchmarkevaluaties te waarborgen in het zich ontwikkelende landschap van taalmodelonderzoek. BenchBench Pakket: https://github.com/IBM/BenchBench Leaderboard: https://huggingface.co/spaces/per/BenchBench

English

Recent advancements in Language Models (LMs) have catalyzed the creation of multiple benchmarks, designed to assess these models' general capabilities. A crucial task, however, is assessing the validity of the benchmarks themselves. This is most commonly done via Benchmark Agreement Testing (BAT), where new benchmarks are validated against established ones using some agreement metric (e.g., rank correlation). Despite the crucial role of BAT for benchmark builders and consumers, there are no standardized procedures for such agreement testing. This deficiency can lead to invalid conclusions, fostering mistrust in benchmarks and upending the ability to properly choose the appropriate benchmark to use. By analyzing over 40 prominent benchmarks, we demonstrate how some overlooked methodological choices can significantly influence BAT results, potentially undermining the validity of conclusions. To address these inconsistencies, we propose a set of best practices for BAT and demonstrate how utilizing these methodologies greatly improves BAT robustness and validity. To foster adoption and facilitate future research,, we introduce BenchBench, a python package for BAT, and release the BenchBench-leaderboard, a meta-benchmark designed to evaluate benchmarks using their peers. Our findings underscore the necessity for standardized BAT, ensuring the robustness and validity of benchmark evaluations in the evolving landscape of language model research. BenchBench Package: https://github.com/IBM/BenchBench Leaderboard: https://huggingface.co/spaces/per/BenchBench

Benchmark Overeenkomststesten Goed Uitgevoerd: Een Gids voor LLM Benchmark Evaluatie

Benchmark Agreement Testing Done Right: A Guide for LLM Benchmark Evaluation

Samenvatting

Support