Test d'accord de référence bien réalisé : Un guide pour l'évaluation des benchmarks de modèles de langage

Benchmark Agreement Testing Done Right: A Guide for LLM Benchmark Evaluation

July 18, 2024

Auteurs: Yotam Perlitz, Ariel Gera, Ofir Arviv, Asaf Yehudai, Elron Bandel, Eyal Shnarch, Michal Shmueli-Scheuer, Leshem Choshen

cs.AI

Résumé

Les récents progrès dans les modèles de langage (Language Models, LMs) ont catalysé la création de multiples benchmarks, conçus pour évaluer les capacités générales de ces modèles. Une tâche cruciale, cependant, consiste à évaluer la validité des benchmarks eux-mêmes. Cela se fait le plus souvent via des tests d'accord de benchmark (Benchmark Agreement Testing, BAT), où les nouveaux benchmarks sont validés par rapport à des benchmarks établis en utilisant une métrique d'accord (par exemple, la corrélation de rang). Malgré le rôle essentiel du BAT pour les créateurs et les utilisateurs de benchmarks, il n'existe pas de procédures standardisées pour ce type de test d'accord. Cette lacune peut conduire à des conclusions invalides, suscitant la méfiance envers les benchmarks et compromettant la capacité à choisir correctement le benchmark approprié à utiliser. En analysant plus de 40 benchmarks majeurs, nous démontrons comment certains choix méthodologiques négligés peuvent influencer de manière significative les résultats du BAT, potentiellement compromettant la validité des conclusions. Pour remédier à ces incohérences, nous proposons un ensemble de meilleures pratiques pour le BAT et montrons comment l'utilisation de ces méthodologies améliore grandement la robustesse et la validité du BAT. Pour favoriser l'adoption et faciliter les recherches futures, nous introduisons BenchBench, un package Python pour le BAT, et publions le BenchBench-leaderboard, un méta-benchmark conçu pour évaluer les benchmarks en les comparant à leurs pairs. Nos résultats soulignent la nécessité d'un BAT standardisé, garantissant la robustesse et la validité des évaluations de benchmarks dans le paysage en évolution de la recherche sur les modèles de langage. Package BenchBench : https://github.com/IBM/BenchBench Leaderboard : https://huggingface.co/spaces/per/BenchBench

English

Recent advancements in Language Models (LMs) have catalyzed the creation of multiple benchmarks, designed to assess these models' general capabilities. A crucial task, however, is assessing the validity of the benchmarks themselves. This is most commonly done via Benchmark Agreement Testing (BAT), where new benchmarks are validated against established ones using some agreement metric (e.g., rank correlation). Despite the crucial role of BAT for benchmark builders and consumers, there are no standardized procedures for such agreement testing. This deficiency can lead to invalid conclusions, fostering mistrust in benchmarks and upending the ability to properly choose the appropriate benchmark to use. By analyzing over 40 prominent benchmarks, we demonstrate how some overlooked methodological choices can significantly influence BAT results, potentially undermining the validity of conclusions. To address these inconsistencies, we propose a set of best practices for BAT and demonstrate how utilizing these methodologies greatly improves BAT robustness and validity. To foster adoption and facilitate future research,, we introduce BenchBench, a python package for BAT, and release the BenchBench-leaderboard, a meta-benchmark designed to evaluate benchmarks using their peers. Our findings underscore the necessity for standardized BAT, ensuring the robustness and validity of benchmark evaluations in the evolving landscape of language model research. BenchBench Package: https://github.com/IBM/BenchBench Leaderboard: https://huggingface.co/spaces/per/BenchBench