PACE: Een proxy voor de evaluatie van agentische capaciteit

Samenvatting

Het evalueren van LLM-agenten op benchmarks zoals SWE-Bench en GAIA kan duur, tijdrovend zijn en vereist complexe infrastructuur. Een enkele evaluatie kan duizenden dollars kosten en dagen duren. Daarentegen zijn niet-agentische LLM-benchmarks die individuele capaciteiten testen (bijv. redeneren, codegeneratie) snel en goedkoop uit te voeren. In dit artikel onderzoeken we of prestaties op dure agentische benchmarks nauwkeurig kunnen worden voorspeld door de prestaties op een kleine, zorgvuldig geselecteerde subset van atomaire evaluatie-instanties. We introduceren PACE, een raamwerk dat proxy-benchmarks construeert door instanties te selecteren uit bestaande niet-agentische evaluaties waarvan de geaggregeerde scores het betrouwbaarst de modelprestaties op agentische benchmarks voorspellen. Gegeven een pool van kandidaat-instanties die atomaire capaciteiten beslaan, past PACE een regressie toe die de scores van een model op een compacte subset van broninstanties koppelt aan zijn score op de doel-agentische benchmark. De subset zelf wordt samengesteld door twee complementaire instantie-selectiestrategieën te combineren: doelrelevantie lokale selectie en wereldwijd informatieve globale selectie. We passen PACE toe op de 4 doel-agentische benchmarks in dit artikel, wat resulteert in PACE-Bench, de concrete proxy-benchmark die we in het artikel evalueren. Experimenten over 14 modellen, 4 agentische benchmarks en 19 niet-agentische benchmarks tonen aan dat PACE-Bench agentische scores voorspelt met een leave-one-out cross-validatie (LOOCV) gemiddelde absolute fout (MAE) van minder dan 4%, Spearman-correlatie boven 0,80, en paarsgewijze model-rangschikkingsnauwkeurigheid rond 85%, dit alles tegen minder dan 1% van de volledige agentische evaluatiekosten. We analyseren verder de geselecteerde proxy-instanties en onthullen welke vaardigheden elke agentische benchmark uniek vereist. PACE stelt praktijkmensen in staat om betrouwbare schattingen van agentische prestaties te verkrijgen tijdens modelontwikkeling, -selectie en -routering, zonder de overhead van volledige agentevaluatie.

English

Evaluating LLM agents on benchmarks like SWE-Bench and GAIA can be expensive, time-consuming, and requires complex infrastructure. A single evaluation can cost thousands of dollars and take days to complete. In contrast, non-agentic LLM benchmarks that test individual capabilities (e.g., reasoning, code generation) are fast and cheap to run. In this paper, we investigate whether performance on expensive agentic benchmarks can be accurately predicted by the performance on a small, carefully selected subset of atomic evaluation instances. We introduce PACE, a framework that constructs proxy benchmarks by selecting instances from existing non-agentic evaluations whose aggregate scores most reliably predict model performances on agentic benchmarks. Given a pool of candidate instances spanning atomic capabilities, PACE fits a regression that maps a model's scores on a compact subset of source instances to its score on the target agentic benchmark. The subset itself is curated by combining two complementary instance-selection strategies, target-relevance local selection and globally informative global selection. We apply PACE to the 4 target agentic benchmarks in this paper, which yields PACE-Bench, the concrete proxy benchmark that we evaluate in the paper. Experiments across 14 models, 4 agentic benchmarks, and 19 non-agentic benchmarks show that PACE-Bench predicts agentic scores with leave-one-out cross-validation (LOOCV) mean absolute error (MAE) under 4%, Spearman correlation above 0.80, and pairwise model-ranking accuracy around 85%, all at much less than 1% of the full agentic evaluation cost. We further analyze the selected proxy instances, revealing which skills each agentic benchmark uniquely demands. PACE enables practitioners to obtain reliable estimates of agentic performance during model development, selection, and routing, without the overhead of full agent evaluation.