Benchmark^2: Valutazione Sistematica dei Benchmark per LLM
Benchmark^2: Systematic Evaluation of LLM Benchmarks
January 7, 2026
Autori: Qi Qian, Chengsong Huang, Jingwen Xu, Changze Lv, Muling Wu, Wenhao Liu, Xiaohua Wang, Zhenghua Wang, Zisu Huang, Muzhao Tian, Jianhan Xu, Kun Hu, He-Da Wang, Yao Hu, Xuanjing Huang, Xiaoqing Zheng
cs.AI
Abstract
La rapida proliferazione di benchmark per valutare i grandi modelli linguistici (LLM) ha creato un'esigenza urgente di metodi sistematici per valutare la qualità dei benchmark stessi. Proponiamo Benchmark^2, un quadro completo che comprende tre metriche complementari: (1) la Coerenza di Classifica Incrociata tra Benchmark, che misura se un benchmark produce classifiche di modelli allineate con quelle di benchmark analoghi; (2) il Punteggio di Discriminabilità, che quantifica la capacità di un benchmark di differenziare i modelli; e (3) la Deviazione di Allineamento delle Capacità, che identifica istanze problematiche in cui modelli più potenti falliscono mentre modelli più deboli riescono all'interno della stessa famiglia di modelli. Abbiamo condotto esperimenti estesi su 15 benchmark che coprono i domini della matematica, del ragionamento e della conoscenza, valutando 11 LLM appartenenti a quattro famiglie di modelli. La nostra analisi rivela significative variazioni di qualità tra i benchmark esistenti e dimostra che una costruzione selettiva dei benchmark basata sulle nostre metriche può ottenere prestazioni valutative comparabili con set di test notevolmente ridotti.
English
The rapid proliferation of benchmarks for evaluating large language models (LLMs) has created an urgent need for systematic methods to assess benchmark quality itself. We propose Benchmark^2, a comprehensive framework comprising three complementary metrics: (1) Cross-Benchmark Ranking Consistency, measuring whether a benchmark produces model rankings aligned with peer benchmarks; (2) Discriminability Score, quantifying a benchmark's ability to differentiate between models; and (3) Capability Alignment Deviation, identifying problematic instances where stronger models fail but weaker models succeed within the same model family. We conduct extensive experiments across 15 benchmarks spanning mathematics, reasoning, and knowledge domains, evaluating 11 LLMs across four model families. Our analysis reveals significant quality variations among existing benchmarks and demonstrates that selective benchmark construction based on our metrics can achieve comparable evaluation performance with substantially reduced test sets.