Benchmark^2: Systematische Evaluatie van LLM-benchmarks
Benchmark^2: Systematic Evaluation of LLM Benchmarks
January 7, 2026
Auteurs: Qi Qian, Chengsong Huang, Jingwen Xu, Changze Lv, Muling Wu, Wenhao Liu, Xiaohua Wang, Zhenghua Wang, Zisu Huang, Muzhao Tian, Jianhan Xu, Kun Hu, He-Da Wang, Yao Hu, Xuanjing Huang, Xiaoqing Zheng
cs.AI
Samenvatting
De snelle proliferatie van benchmarks voor het evalueren van grote taalmodellen (LLM's) heeft een dringende behoefte gecreëerd aan systematische methoden om de kwaliteit van benchmarks zelf te beoordelen. Wij stellen Benchmark² voor, een uitgebreid raamwerk bestaande uit drie complementaire metrieken: (1) Cross-Benchmark Rankingconsistentie, die meet of een benchmark modelrangschikkingen produceert die overeenkomen met die van vergelijkbare benchmarks; (2) Discriminatievermogen-score, die het vermogen van een benchmark om onderscheid te maken tussen modellen kwantificeert; en (3) Capability Alignment-afwijking, die problematische gevallen identificeert waarin sterkere modellen falen maar zwakkere modellen slagen binnen dezelfde modelfamilie. Wij voeren uitgebreide experimenten uit met 15 benchmarks op het gebied van wiskunde, redeneren en kennis, waarbij 11 LLM's uit vier modelfamilies worden geëvalueerd. Onze analyse onthult aanzienlijke kwaliteitsverschillen tussen bestaande benchmarks en toont aan dat selectieve benchmarkconstructie op basis van onze metrieken vergelijkbare evaluatieprestaties kan bereiken met aanzienlijk verkleinde testverzamelingen.
English
The rapid proliferation of benchmarks for evaluating large language models (LLMs) has created an urgent need for systematic methods to assess benchmark quality itself. We propose Benchmark^2, a comprehensive framework comprising three complementary metrics: (1) Cross-Benchmark Ranking Consistency, measuring whether a benchmark produces model rankings aligned with peer benchmarks; (2) Discriminability Score, quantifying a benchmark's ability to differentiate between models; and (3) Capability Alignment Deviation, identifying problematic instances where stronger models fail but weaker models succeed within the same model family. We conduct extensive experiments across 15 benchmarks spanning mathematics, reasoning, and knowledge domains, evaluating 11 LLMs across four model families. Our analysis reveals significant quality variations among existing benchmarks and demonstrates that selective benchmark construction based on our metrics can achieve comparable evaluation performance with substantially reduced test sets.