PACE: Ein Proxy zur Bewertung agentischer Fähigkeiten

Zusammenfassung

Die Evaluierung von LLM-Agenten anhand von Benchmarks wie SWE-Bench und GAIA kann teuer, zeitaufwändig und mit komplexer Infrastruktur verbunden sein. Eine einzelne Evaluierung kann Tausende von Dollar kosten und Tage in Anspruch nehmen. Im Gegensatz dazu sind nicht-agentische LLM-Benchmarks, die einzelne Fähigkeiten testen (z. B. logisches Denken, Code-Generierung), schnell und kostengünstig durchführbar. In dieser Arbeit untersuchen wir, ob die Leistung bei teuren agentischen Benchmarks genau durch die Leistung anhand einer kleinen, sorgfältig ausgewählten Teilmenge atomarer Evaluierungsinstanzen vorhergesagt werden kann. Wir stellen PACE vor, ein Rahmenwerk, das Proxy-Benchmarks konstruiert, indem es Instanzen aus bestehenden nicht-agentischen Evaluierungen auswählt, deren aggregierte Ergebnisse die Modellleistungen bei agentischen Benchmarks am zuverlässigsten vorhersagen. Ausgehend von einem Pool an Kandidateninstanzen, die atomare Fähigkeiten abdecken, passt PACE eine Regression an, die die Ergebnisse eines Modells in einer kompakten Teilmenge von Quellinstanzen auf dessen Ergebnis im Ziel-Agenten-Benchmark abbildet. Die Teilmenge selbst wird durch die Kombination zweier komplementärer Instanzauswahlstrategien kuratiert: der zielrelevanten lokalen Auswahl und der global informativen globalen Auswahl. Wir wenden PACE auf die 4 Ziel-Agenten-Benchmarks in dieser Arbeit an, was zu PACE-Bench führt, dem konkreten Proxy-Benchmark, den wir in der Arbeit evaluieren. Experimente mit 14 Modellen, 4 agentischen Benchmarks und 19 nicht-agentischen Benchmarks zeigen, dass PACE-Bench agentische Ergebnisse mit einem mittleren absoluten Fehler (MAE) der Leave-One-Out-Kreuzvalidierung (LOOCV) unter 4%, einer Spearman-Korrelation über 0,80 und einer paarweisen Modell-Ranking-Genauigkeit von etwa 85% vorhersagt, und dies zu weniger als 1% der Kosten einer vollständigen agentischen Evaluierung. Wir analysieren weiterhin die ausgewählten Proxy-Instanzen und zeigen, welche Fähigkeiten jeder agentische Benchmark einzigartig erfordert. PACE ermöglicht es Praktikern, zuverlässige Schätzungen der agentischen Leistung während der Modellentwicklung, -auswahl und -lenkung zu erhalten, ohne den Aufwand einer vollständigen Agentenevaluierung.

English

Evaluating LLM agents on benchmarks like SWE-Bench and GAIA can be expensive, time-consuming, and requires complex infrastructure. A single evaluation can cost thousands of dollars and take days to complete. In contrast, non-agentic LLM benchmarks that test individual capabilities (e.g., reasoning, code generation) are fast and cheap to run. In this paper, we investigate whether performance on expensive agentic benchmarks can be accurately predicted by the performance on a small, carefully selected subset of atomic evaluation instances. We introduce PACE, a framework that constructs proxy benchmarks by selecting instances from existing non-agentic evaluations whose aggregate scores most reliably predict model performances on agentic benchmarks. Given a pool of candidate instances spanning atomic capabilities, PACE fits a regression that maps a model's scores on a compact subset of source instances to its score on the target agentic benchmark. The subset itself is curated by combining two complementary instance-selection strategies, target-relevance local selection and globally informative global selection. We apply PACE to the 4 target agentic benchmarks in this paper, which yields PACE-Bench, the concrete proxy benchmark that we evaluate in the paper. Experiments across 14 models, 4 agentic benchmarks, and 19 non-agentic benchmarks show that PACE-Bench predicts agentic scores with leave-one-out cross-validation (LOOCV) mean absolute error (MAE) under 4%, Spearman correlation above 0.80, and pairwise model-ranking accuracy around 85%, all at much less than 1% of the full agentic evaluation cost. We further analyze the selected proxy instances, revealing which skills each agentic benchmark uniquely demands. PACE enables practitioners to obtain reliable estimates of agentic performance during model development, selection, and routing, without the overhead of full agent evaluation.