PACE: 에이전트 능력 평가를 위한 대리 지표

초록

SWE-Bench 및 GAIA와 같은 벤치마크에서 LLM 에이전트를 평가하는 것은 비용이 많이 들고 시간이 오래 걸리며 복잡한 인프라가 필요합니다. 단일 평가에 수천 달러의 비용이 들고 완료하는 데 며칠이 걸릴 수 있습니다. 반면, 개별 능력(예: 추론, 코드 생성)을 테스트하는 비에이전트 LLM 벤치마크는 실행 속도가 빠르고 비용이 저렴합니다. 본 논문에서는 비용이 많이 드는 에이전트 벤치마크에서의 성능을 신중하게 선택된 소수의 원자적 평가 인스턴스에 대한 성능으로 정확하게 예측할 수 있는지 조사합니다. 우리는 기존 비에이전트 평가에서 인스턴스를 선택하여 프록시 벤치마크를 구축하는 프레임워크인 PACE를 소개합니다. 이 프레임워크는 원자적 능력을 포괄하는 후보 인스턴스 풀에서, 모델의 점수를 목표 에이전트 벤치마크 점수에 매핑하는 회귀 모델을 적합합니다. 이 부분 집합은 목표 관련성 지역 선택과 전역 정보성 전역 선택이라는 두 가지 상호 보완적인 인스턴스 선택 전략을 결합하여 선별됩니다. 본 논문에서는 PACE를 4개의 목표 에이전트 벤치마크에 적용하여, 실제로 평가에 사용되는 구체적인 프록시 벤치마크인 PACE-Bench를 생성합니다. 14개 모델, 4개 에이전트 벤치마크, 19개 비에이전트 벤치마크에 걸친 실험 결과, PACE-Bench는 탈일차 교차 검증(LOOCV) 평균 절대 오차(MAE) 4% 미만, 스피어만 상관계수 0.80 이상, 쌍별 모델 순위 정확도 약 85%로 에이전트 점수를 예측하며, 이 모든 것이 전체 에이전트 평가 비용의 1% 미만으로 달성됩니다. 또한 선택된 프록시 인스턴스를 분석하여 각 에이전트 벤치마크가 고유하게 요구하는 능력을 밝혀냅니다. PACE를 통해 실무자는 전체 에이전트 평가의 오버헤드 없이 모델 개발, 선택 및 라우팅 과정에서 에이전트 성능에 대한 신뢰할 수 있는 추정치를 얻을 수 있습니다.

English

Evaluating LLM agents on benchmarks like SWE-Bench and GAIA can be expensive, time-consuming, and requires complex infrastructure. A single evaluation can cost thousands of dollars and take days to complete. In contrast, non-agentic LLM benchmarks that test individual capabilities (e.g., reasoning, code generation) are fast and cheap to run. In this paper, we investigate whether performance on expensive agentic benchmarks can be accurately predicted by the performance on a small, carefully selected subset of atomic evaluation instances. We introduce PACE, a framework that constructs proxy benchmarks by selecting instances from existing non-agentic evaluations whose aggregate scores most reliably predict model performances on agentic benchmarks. Given a pool of candidate instances spanning atomic capabilities, PACE fits a regression that maps a model's scores on a compact subset of source instances to its score on the target agentic benchmark. The subset itself is curated by combining two complementary instance-selection strategies, target-relevance local selection and globally informative global selection. We apply PACE to the 4 target agentic benchmarks in this paper, which yields PACE-Bench, the concrete proxy benchmark that we evaluate in the paper. Experiments across 14 models, 4 agentic benchmarks, and 19 non-agentic benchmarks show that PACE-Bench predicts agentic scores with leave-one-out cross-validation (LOOCV) mean absolute error (MAE) under 4%, Spearman correlation above 0.80, and pairwise model-ranking accuracy around 85%, all at much less than 1% of the full agentic evaluation cost. We further analyze the selected proxy instances, revealing which skills each agentic benchmark uniquely demands. PACE enables practitioners to obtain reliable estimates of agentic performance during model development, selection, and routing, without the overhead of full agent evaluation.