Benchmark^2: Систематическая оценка бенчмарков для больших языковых моделей
Benchmark^2: Systematic Evaluation of LLM Benchmarks
January 7, 2026
Авторы: Qi Qian, Chengsong Huang, Jingwen Xu, Changze Lv, Muling Wu, Wenhao Liu, Xiaohua Wang, Zhenghua Wang, Zisu Huang, Muzhao Tian, Jianhan Xu, Kun Hu, He-Da Wang, Yao Hu, Xuanjing Huang, Xiaoqing Zheng
cs.AI
Аннотация
Быстрое распространение бенчмарков для оценки больших языковых моделей (БЯМ) создало острую потребность в систематических методах оценки качества самих бенчмарков. Мы предлагаем Benchmark² — комплексную систему, включающую три взаимодополняющих метрики: (1) *Согласованность ранжирования между бенчмарками*, измеряющую, насколько ранжирование моделей данным бенчмарком соответствует результатам аналогичных бенчмарков; (2) *Показатель дискриминативности*, количественно оценивающий способность бенчмарка различать модели; и (3) *Отклонение согласованности со способностями*, выявляющее проблемные случаи, когда более сильные модели ошибаются, а более слабые — справляются внутри одного семейства моделей. Мы провели масштабные эксперименты на 15 бенчмарках из областей математики, логического мышления и знаний, оценив 11 БЯМ из четырёх семейств моделей. Наш анализ выявил значительные вариации в качестве существующих бенчмарков и показал, что избирательное конструирование бенчмарков на основе наших метрик позволяет достичь сопоставимой эффективности оценки при существенно сокращённых тестовых наборах.
English
The rapid proliferation of benchmarks for evaluating large language models (LLMs) has created an urgent need for systematic methods to assess benchmark quality itself. We propose Benchmark^2, a comprehensive framework comprising three complementary metrics: (1) Cross-Benchmark Ranking Consistency, measuring whether a benchmark produces model rankings aligned with peer benchmarks; (2) Discriminability Score, quantifying a benchmark's ability to differentiate between models; and (3) Capability Alignment Deviation, identifying problematic instances where stronger models fail but weaker models succeed within the same model family. We conduct extensive experiments across 15 benchmarks spanning mathematics, reasoning, and knowledge domains, evaluating 11 LLMs across four model families. Our analysis reveals significant quality variations among existing benchmarks and demonstrates that selective benchmark construction based on our metrics can achieve comparable evaluation performance with substantially reduced test sets.