Benchmark^2: Systematische Evaluierung von LLM-Benchmarks
Benchmark^2: Systematic Evaluation of LLM Benchmarks
January 7, 2026
papers.authors: Qi Qian, Chengsong Huang, Jingwen Xu, Changze Lv, Muling Wu, Wenhao Liu, Xiaohua Wang, Zhenghua Wang, Zisu Huang, Muzhao Tian, Jianhan Xu, Kun Hu, He-Da Wang, Yao Hu, Xuanjing Huang, Xiaoqing Zheng
cs.AI
papers.abstract
Die rasche Verbreitung von Benchmarks zur Bewertung großer Sprachmodelle (LLMs) hat einen dringenden Bedarf an systematischen Methoden zur Beurteilung der Benchmark-Qualität selbst geschaffen. Wir schlagen Benchmark^2 vor, einen umfassenden Rahmen mit drei komplementären Metriken: (1) Cross-Benchmark-Ranking-Konsistenz, die misst, ob ein Benchmark Modellrankings erzeugt, die mit denen von Peer-Benchmarks übereinstimmen; (2) Diskriminierungsfähigkeits-Score, der die Fähigkeit eines Benchmarks quantifiziert, zwischen Modellen zu differenzieren; und (3) Fähigkeitsausrichtungsabweichung, die problematische Instanzen identifiziert, bei denen stärkere Modelle scheitern, schwächere Modelle innerhalb derselben Modellfamilie jedoch erfolgreich sind. Wir führen umfangreiche Experimente mit 15 Benchmarks aus den Bereichen Mathematik, logisches Denken und Wissen durch und bewerten 11 LLMs aus vier Modellfamilien. Unsere Analyse zeigt erhebliche Qualitätsunterschiede zwischen bestehenden Benchmarks auf und demonstriert, dass eine selektive Benchmark-Konstruktion auf Basis unserer Metriken vergleichbare Bewertungsleistung mit erheblich reduzierten Testsets erreichen kann.
English
The rapid proliferation of benchmarks for evaluating large language models (LLMs) has created an urgent need for systematic methods to assess benchmark quality itself. We propose Benchmark^2, a comprehensive framework comprising three complementary metrics: (1) Cross-Benchmark Ranking Consistency, measuring whether a benchmark produces model rankings aligned with peer benchmarks; (2) Discriminability Score, quantifying a benchmark's ability to differentiate between models; and (3) Capability Alignment Deviation, identifying problematic instances where stronger models fail but weaker models succeed within the same model family. We conduct extensive experiments across 15 benchmarks spanning mathematics, reasoning, and knowledge domains, evaluating 11 LLMs across four model families. Our analysis reveals significant quality variations among existing benchmarks and demonstrates that selective benchmark construction based on our metrics can achieve comparable evaluation performance with substantially reduced test sets.