Teste de Acordo de Referência Bem Feito: Um Guia para Avaliação de Referência de LLM
Benchmark Agreement Testing Done Right: A Guide for LLM Benchmark Evaluation
July 18, 2024
Autores: Yotam Perlitz, Ariel Gera, Ofir Arviv, Asaf Yehudai, Elron Bandel, Eyal Shnarch, Michal Shmueli-Scheuer, Leshem Choshen
cs.AI
Resumo
Os avanços recentes em Modelos de Linguagem (LMs) têm catalisado a criação de múltiplos benchmarks, projetados para avaliar as capacidades gerais desses modelos. Uma tarefa crucial, no entanto, é avaliar a validade dos benchmarks em si. Isso é mais comumente feito por meio do Teste de Concordância de Benchmark (BAT), onde novos benchmarks são validados em relação aos estabelecidos usando alguma métrica de concordância (por exemplo, correlação de classificação). Apesar do papel crucial do BAT para construtores e usuários de benchmarks, não existem procedimentos padronizados para esse tipo de teste de concordância. Essa deficiência pode levar a conclusões inválidas, fomentando desconfiança nos benchmarks e prejudicando a capacidade de escolher adequadamente o benchmark a ser utilizado. Ao analisar mais de 40 benchmarks proeminentes, demonstramos como algumas escolhas metodológicas negligenciadas podem influenciar significativamente os resultados do BAT, potencialmente minando a validade das conclusões. Para lidar com essas inconsistências, propomos um conjunto de melhores práticas para o BAT e demonstramos como a utilização dessas metodologias melhora consideravelmente a robustez e validade do BAT. Para promover a adoção e facilitar futuras pesquisas, introduzimos o BenchBench, um pacote em Python para BAT, e lançamos o BenchBench-leaderboard, um meta-benchmark projetado para avaliar benchmarks usando seus pares. Nossas descobertas destacam a necessidade de um BAT padronizado, garantindo a robustez e validade das avaliações de benchmarks no cenário em evolução da pesquisa de modelos de linguagem.
Pacote BenchBench: https://github.com/IBM/BenchBench
Leaderboard: https://huggingface.co/spaces/per/BenchBench
English
Recent advancements in Language Models (LMs) have catalyzed the creation of
multiple benchmarks, designed to assess these models' general capabilities. A
crucial task, however, is assessing the validity of the benchmarks themselves.
This is most commonly done via Benchmark Agreement Testing (BAT), where new
benchmarks are validated against established ones using some agreement metric
(e.g., rank correlation). Despite the crucial role of BAT for benchmark
builders and consumers, there are no standardized procedures for such agreement
testing. This deficiency can lead to invalid conclusions, fostering mistrust in
benchmarks and upending the ability to properly choose the appropriate
benchmark to use. By analyzing over 40 prominent benchmarks, we demonstrate how
some overlooked methodological choices can significantly influence BAT results,
potentially undermining the validity of conclusions. To address these
inconsistencies, we propose a set of best practices for BAT and demonstrate how
utilizing these methodologies greatly improves BAT robustness and validity. To
foster adoption and facilitate future research,, we introduce BenchBench, a
python package for BAT, and release the BenchBench-leaderboard, a
meta-benchmark designed to evaluate benchmarks using their peers. Our findings
underscore the necessity for standardized BAT, ensuring the robustness and
validity of benchmark evaluations in the evolving landscape of language model
research.
BenchBench Package: https://github.com/IBM/BenchBench
Leaderboard: https://huggingface.co/spaces/per/BenchBench