PACE : Un proxy pour l'évaluation des capacités agentiques

Résumé

L'évaluation des agents LLM sur des benchmarks comme SWE-Bench et GAIA peut s'avérer coûteuse, chronophage et nécessiter une infrastructure complexe. Une seule évaluation peut coûter des milliers de dollars et prendre plusieurs jours. En revanche, les benchmarks LLM non agentiques qui testent des capacités individuelles (par exemple, le raisonnement, la génération de code) sont rapides et peu coûteux à exécuter. Dans cet article, nous étudions s'il est possible de prédire avec précision les performances sur des benchmarks agentiques coûteux à partir des performances sur un petit sous-ensemble soigneusement sélectionné d'instances d'évaluation atomiques. Nous présentons PACE, un framework qui construit des benchmarks proxy en sélectionnant des instances issues d'évaluations non agentiques existantes, dont les scores agrégés prédisent le plus fiablement les performances des modèles sur les benchmarks agentiques. À partir d'un ensemble d'instances candidates couvrant des capacités atomiques, PACE ajuste une régression qui mappe les scores d'un modèle sur un sous-ensemble compact d'instances sources vers son score sur le benchmark agentique cible. Le sous-ensemble lui-même est élaboré en combinant deux stratégies de sélection d'instances complémentaires : la sélection locale centrée sur la cible et la sélection globale informative. Nous appliquons PACE aux 4 benchmarks agentiques cibles de cet article, ce qui donne PACE-Bench, le benchmark proxy concret que nous évaluons. Les expériences menées sur 14 modèles, 4 benchmarks agentiques et 19 benchmarks non agentiques montrent que PACE-Bench prédit les scores agentiques avec une erreur absolue moyenne (MAE) en validation croisée leave-one-out (LOOCV) inférieure à 4 %, une corrélation de Spearman supérieure à 0,80 et une précision de classement par paire de modèles d'environ 85 %, le tout pour moins de 1 % du coût total de l'évaluation agentique. Nous analysons en outre les instances proxy sélectionnées, révélant les compétences spécifiques que chaque benchmark agentique exige. PACE permet aux praticiens d'obtenir des estimations fiables de la performance agentique lors du développement, de la sélection et du routage des modèles, sans les frais généraux d'une évaluation agentique complète.

English

Evaluating LLM agents on benchmarks like SWE-Bench and GAIA can be expensive, time-consuming, and requires complex infrastructure. A single evaluation can cost thousands of dollars and take days to complete. In contrast, non-agentic LLM benchmarks that test individual capabilities (e.g., reasoning, code generation) are fast and cheap to run. In this paper, we investigate whether performance on expensive agentic benchmarks can be accurately predicted by the performance on a small, carefully selected subset of atomic evaluation instances. We introduce PACE, a framework that constructs proxy benchmarks by selecting instances from existing non-agentic evaluations whose aggregate scores most reliably predict model performances on agentic benchmarks. Given a pool of candidate instances spanning atomic capabilities, PACE fits a regression that maps a model's scores on a compact subset of source instances to its score on the target agentic benchmark. The subset itself is curated by combining two complementary instance-selection strategies, target-relevance local selection and globally informative global selection. We apply PACE to the 4 target agentic benchmarks in this paper, which yields PACE-Bench, the concrete proxy benchmark that we evaluate in the paper. Experiments across 14 models, 4 agentic benchmarks, and 19 non-agentic benchmarks show that PACE-Bench predicts agentic scores with leave-one-out cross-validation (LOOCV) mean absolute error (MAE) under 4%, Spearman correlation above 0.80, and pairwise model-ranking accuracy around 85%, all at much less than 1% of the full agentic evaluation cost. We further analyze the selected proxy instances, revealing which skills each agentic benchmark uniquely demands. PACE enables practitioners to obtain reliable estimates of agentic performance during model development, selection, and routing, without the overhead of full agent evaluation.