PACE: エージェント的能力評価のためのプロキシ

要旨

SWE-BenchやGAIAのようなベンチマークでLLMエージェントを評価することは、コストが高く、時間がかかり、複雑なインフラストラクチャを必要とする。1回の評価に数千ドルもの費用がかかり、完了までに数日を要することもある。対照的に、個別の能力（例：推論、コード生成）をテストする非エージェント型LLMベンチマークは、迅速かつ低コストで実行できる。本論文では、高コストなエージェント型ベンチマークにおける性能が、注意深く選択された少数のアトミック評価インスタンスの性能から精度よく予測可能かどうかを調査する。我々はPACEを提案する。これは、既存の非エージェント型評価の中から、その総合スコアがエージェント型ベンチマークにおけるモデル性能を最も確実に予測するインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。アトミックな能力にわたる候補インスタンスのプールを基に、PACEは回帰モデルを適合させ、コンパクトなソースインスタンスのサブセットにおけるモデルのスコアを、対象のエージェント型ベンチマークのスコアにマッピングする。このサブセット自体は、ターゲット関連性に基づく局所選択と、全体的に情報価値の高い大域選択という、相補的な2つのインスタンス選択戦略を組み合わせてキュレーションされる。我々はPACEを本論文の4つの対象エージェント型ベンチマークに適用し、その結果としてPACE-Bench（本論文で評価する具体的なプロキシベンチマーク）を導出した。14モデル、4つのエージェント型ベンチマーク、19の非エージェント型ベンチマークにわたる実験では、PACE-Benchがエージェントスコアを、Leave-One-Out交差検証（LOOCV）における平均絶対誤差（MAE）4%未満、スピアマン相関係数0.80以上、ペアワイズモデルランキング精度約85%で予測し、そのコストは完全なエージェント評価の1%未満であることが示された。さらに、選択されたプロキシインスタンスを分析し、各エージェント型ベンチマークが独自に要求するスキルを明らかにする。PACEにより、実務者はモデル開発、選択、ルーティングの際に、完全なエージェント評価のオーバーヘッドなしで、エージェント性能の信頼性の高い推定値を得ることが可能となる。

English

Evaluating LLM agents on benchmarks like SWE-Bench and GAIA can be expensive, time-consuming, and requires complex infrastructure. A single evaluation can cost thousands of dollars and take days to complete. In contrast, non-agentic LLM benchmarks that test individual capabilities (e.g., reasoning, code generation) are fast and cheap to run. In this paper, we investigate whether performance on expensive agentic benchmarks can be accurately predicted by the performance on a small, carefully selected subset of atomic evaluation instances. We introduce PACE, a framework that constructs proxy benchmarks by selecting instances from existing non-agentic evaluations whose aggregate scores most reliably predict model performances on agentic benchmarks. Given a pool of candidate instances spanning atomic capabilities, PACE fits a regression that maps a model's scores on a compact subset of source instances to its score on the target agentic benchmark. The subset itself is curated by combining two complementary instance-selection strategies, target-relevance local selection and globally informative global selection. We apply PACE to the 4 target agentic benchmarks in this paper, which yields PACE-Bench, the concrete proxy benchmark that we evaluate in the paper. Experiments across 14 models, 4 agentic benchmarks, and 19 non-agentic benchmarks show that PACE-Bench predicts agentic scores with leave-one-out cross-validation (LOOCV) mean absolute error (MAE) under 4%, Spearman correlation above 0.80, and pairwise model-ranking accuracy around 85%, all at much less than 1% of the full agentic evaluation cost. We further analyze the selected proxy instances, revealing which skills each agentic benchmark uniquely demands. PACE enables practitioners to obtain reliable estimates of agentic performance during model development, selection, and routing, without the overhead of full agent evaluation.