PACE: Прокси для оценки агентных способностей

Аннотация

Оценка агентов LLM на таких бенчмарках, как SWE-Bench и GAIA, может быть дорогостоящей, трудоёмкой и требовать сложной инфраструктуры. Одна такая оценка может стоить тысячи долларов и занимать несколько дней. В отличие от этого, неагентные бенчмарки LLM, проверяющие отдельные способности (например, рассуждение, генерацию кода), выполняются быстро и дёшево. В данной работе мы исследуем, можно ли точно предсказать производительность на дорогостоящих агентных бенчмарках на основе результатов на небольшом, тщательно отобранном подмножестве атомарных оценочных экземпляров. Мы представляем PACE — фреймворк, который строит прокси-бенчмарки путём отбора экземпляров из существующих неагентных оценок, чьи совокупные баллы наиболее надёжно предсказывают производительность моделей на агентных бенчмарках. Из пула кандидатов-экземпляров, охватывающих атомарные способности, PACE подбирает регрессию, которая сопоставляет баллы модели на компактном подмножестве исходных экземпляров с её баллом на целевом агентном бенчмарке. Само подмножество формируется путём комбинации двух взаимодополняющих стратегий отбора экземпляров: локального отбора по релевантности цели и глобального отбора по информативности. Мы применяем PACE к 4 целевым агентным бенчмаркам, что даёт PACE-Bench — конкретный прокси-бенчмарк, оцениваемый в статье. Эксперименты на 14 моделях, 4 агентных бенчмарках и 19 неагентных бенчмарках показывают, что PACE-Bench предсказывает агентные баллы со средней абсолютной ошибкой (MAE) при скользящем контроле с исключением по одному (LOOCV) менее 4%, корреляцией Спирмена выше 0,80 и точностью попарного ранжирования моделей около 85%, при этом затраты составляют менее 1% от стоимости полной агентной оценки. Мы также анализируем отобранные прокси-экземпляры, выявляя, какие навыки требуются для каждого агентного бенчмарка. PACE позволяет практикам получать надёжные оценки агентной производительности при разработке, выборе и маршрутизации моделей, без накладных расходов на полную агентную оценку.

English

Evaluating LLM agents on benchmarks like SWE-Bench and GAIA can be expensive, time-consuming, and requires complex infrastructure. A single evaluation can cost thousands of dollars and take days to complete. In contrast, non-agentic LLM benchmarks that test individual capabilities (e.g., reasoning, code generation) are fast and cheap to run. In this paper, we investigate whether performance on expensive agentic benchmarks can be accurately predicted by the performance on a small, carefully selected subset of atomic evaluation instances. We introduce PACE, a framework that constructs proxy benchmarks by selecting instances from existing non-agentic evaluations whose aggregate scores most reliably predict model performances on agentic benchmarks. Given a pool of candidate instances spanning atomic capabilities, PACE fits a regression that maps a model's scores on a compact subset of source instances to its score on the target agentic benchmark. The subset itself is curated by combining two complementary instance-selection strategies, target-relevance local selection and globally informative global selection. We apply PACE to the 4 target agentic benchmarks in this paper, which yields PACE-Bench, the concrete proxy benchmark that we evaluate in the paper. Experiments across 14 models, 4 agentic benchmarks, and 19 non-agentic benchmarks show that PACE-Bench predicts agentic scores with leave-one-out cross-validation (LOOCV) mean absolute error (MAE) under 4%, Spearman correlation above 0.80, and pairwise model-ranking accuracy around 85%, all at much less than 1% of the full agentic evaluation cost. We further analyze the selected proxy instances, revealing which skills each agentic benchmark uniquely demands. PACE enables practitioners to obtain reliable estimates of agentic performance during model development, selection, and routing, without the overhead of full agent evaluation.