За пределами статических рейтингов: прогностическая валидность для оценки LLM-агентов

Аннотация

Бенчмарки для агентов стремительно развиваются, однако ни один отдельно взятый бенчмарк не охватывает более четырёх-пяти из тех измерений, которые выявляются при развёртывании. В данной работе представлена крупнейшая на сегодняшний день скоординированная серия углублённых исследований одного промышленного бенчмарка на базе MCP: четырнадцать параллельных исследований, охватывающих новые классы активов (включая мультимодальное визуальное расширение), альтернативные оркестровки, стратегии поиска, режимы рассуждений, оптимизацию инфраструктуры и зонды для оценки методологии. Обобщая эти исследования вместе с семью предыдущими бенчмарками для агентов, мы утверждаем, что лидерборды, основанные на агрегированных показателях, систематически недоопределяют оценку развёрнутых агентов. Ранжирования, построенные на агрегированных баллах, не переносятся на условия вне распределения; недавние ретроспективы соревнований, где публичные результаты сравнивались со скрытыми, предоставляют прямые эмпирические доказательства такой нестабильности рангов. Мы предлагаем ранжировать конфигурации по предиктивной валидности — корреляции между рангами внутри выборки и вне выборки, а не по среднему значению внутри выборки, — и представляем двенадцатиуровневый измерительный аппарат, который выявляет ключевые для развёртывания измерения, сводимые к HELM и его последователям в эпоху агентов. Предлагаемая позиция операционализируется через три фальсифицируемых критерия для условий вне распределения с явными порогами; существующие данные частично её подтверждают, но недостаточны для окончательного вывода. В заключение мы приводим предварительно зарегистрированный пилотный дизайн и видение на уровне всей области — того, что должно содержать следующее поколение бенчмарков для агентов.

English

Agent benchmarks are growing fast, but no single benchmark touches more than four or five of the dimensions that deployment exposes. This paper aggregates the largest coordinated deep-dive of one MCP-based industrial-agent benchmark to date: fourteen parallel implementation studies covering new asset classes (including a multi-modal visual extension), alternative orchestrations, retrieval strategies, reasoning modes, infrastructure optimizations, and evaluation-methodology probes. Consolidating those studies with seven prior agent benchmarks, we argue that aggregate-score leaderboards systematically underspecify deployed-agent evaluation. Rankings derived from aggregate scores do not transfer to out-of-distribution settings; recent public-to-hidden competition retrospectives provide direct empirical evidence of this rank instability. We propose ranking configurations by predictive validity, the correlation between in-sample and out-of-sample rank, rather than in-sample mean, and report a twelve-tier measurement apparatus that exposes the deployment-relevant dimensions HELM and its agent-era successors collapse. The position is operationalized through three falsifiable out-of-distribution criteria with explicit thresholds; existing evidence partly supports it but is too thin to confirm. We close with a pre-registered pilot design and a field-level vision for what the next generation of agentic benchmarks should report.