Benchmark^2: Evaluación Sistemática de los Benchmarks de LLM
Benchmark^2: Systematic Evaluation of LLM Benchmarks
January 7, 2026
Autores: Qi Qian, Chengsong Huang, Jingwen Xu, Changze Lv, Muling Wu, Wenhao Liu, Xiaohua Wang, Zhenghua Wang, Zisu Huang, Muzhao Tian, Jianhan Xu, Kun Hu, He-Da Wang, Yao Hu, Xuanjing Huang, Xiaoqing Zheng
cs.AI
Resumen
La rápida proliferación de puntos de referencia para evaluar modelos de lenguaje extenso (LLM) ha creado una necesidad urgente de métodos sistemáticos para evaluar la calidad de los propios benchmarks. Proponemos Benchmark^2, un marco integral que comprende tres métricas complementarias: (1) la Consistencia de Clasificación Cruzada entre Benchmarks, que mide si un benchmark produce clasificaciones de modelos alineadas con benchmarks pares; (2) la Puntuación de Discriminabilidad, que cuantifica la capacidad de un benchmark para diferenciar entre modelos; y (3) la Desviación de la Alineación de Capacidades, que identifica instancias problemáticas donde modelos más potentes fallan pero modelos más débiles tienen éxito dentro de la misma familia de modelos. Realizamos experimentos extensos en 15 benchmarks que abarcan dominios de matemáticas, razonamiento y conocimiento, evaluando 11 LLM de cuatro familias de modelos. Nuestro análisis revela variaciones significativas de calidad entre los benchmarks existentes y demuestra que la construcción selectiva de benchmarks basada en nuestras métricas puede lograr un rendimiento de evaluación comparable con conjuntos de prueba sustancialmente reducidos.
English
The rapid proliferation of benchmarks for evaluating large language models (LLMs) has created an urgent need for systematic methods to assess benchmark quality itself. We propose Benchmark^2, a comprehensive framework comprising three complementary metrics: (1) Cross-Benchmark Ranking Consistency, measuring whether a benchmark produces model rankings aligned with peer benchmarks; (2) Discriminability Score, quantifying a benchmark's ability to differentiate between models; and (3) Capability Alignment Deviation, identifying problematic instances where stronger models fail but weaker models succeed within the same model family. We conduct extensive experiments across 15 benchmarks spanning mathematics, reasoning, and knowledge domains, evaluating 11 LLMs across four model families. Our analysis reveals significant quality variations among existing benchmarks and demonstrates that selective benchmark construction based on our metrics can achieve comparable evaluation performance with substantially reduced test sets.