Benchmark^2: Avaliação Sistemática de Benchmarks para LLMs
Benchmark^2: Systematic Evaluation of LLM Benchmarks
January 7, 2026
Autores: Qi Qian, Chengsong Huang, Jingwen Xu, Changze Lv, Muling Wu, Wenhao Liu, Xiaohua Wang, Zhenghua Wang, Zisu Huang, Muzhao Tian, Jianhan Xu, Kun Hu, He-Da Wang, Yao Hu, Xuanjing Huang, Xiaoqing Zheng
cs.AI
Resumo
A rápida proliferação de benchmarks para avaliação de grandes modelos de linguagem (LLMs) criou uma necessidade urgente de métodos sistemáticos para avaliar a própria qualidade dos benchmarks. Propomos o Benchmark², uma estrutura abrangente composta por três métricas complementares: (1) Consistência de Classificação entre Benchmarks, que mede se um benchmark produz classificações de modelos alinhadas com benchmarks pares; (2) Pontuação de Discriminabilidade, que quantifica a capacidade de um benchmark de diferenciar entre modelos; e (3) Desvio de Alinhamento de Capacidade, identificando instâncias problemáticas onde modelos mais fortes falham, mas modelos mais fracos obtêm sucesso dentro da mesma família de modelos. Realizamos experimentos extensos em 15 benchmarks abrangendo domínios de matemática, raciocínio e conhecimento, avaliando 11 LLMs de quatro famílias de modelos. Nossa análise revela variações significativas de qualidade entre os benchmarks existentes e demonstra que a construção seletiva de benchmarks com base em nossas métricas pode alcançar desempenho de avaliação comparável com conjuntos de teste substancialmente reduzidos.
English
The rapid proliferation of benchmarks for evaluating large language models (LLMs) has created an urgent need for systematic methods to assess benchmark quality itself. We propose Benchmark^2, a comprehensive framework comprising three complementary metrics: (1) Cross-Benchmark Ranking Consistency, measuring whether a benchmark produces model rankings aligned with peer benchmarks; (2) Discriminability Score, quantifying a benchmark's ability to differentiate between models; and (3) Capability Alignment Deviation, identifying problematic instances where stronger models fail but weaker models succeed within the same model family. We conduct extensive experiments across 15 benchmarks spanning mathematics, reasoning, and knowledge domains, evaluating 11 LLMs across four model families. Our analysis reveals significant quality variations among existing benchmarks and demonstrates that selective benchmark construction based on our metrics can achieve comparable evaluation performance with substantially reduced test sets.