PACE: Un Proxy para la Evaluación de la Capacidad Agentiva

Resumen

Evaluar agentes de modelos de lenguaje de gran escala (LLM) en puntos de referencia como SWE-Bench y GAIA puede resultar costoso, llevar mucho tiempo y requerir infraestructura compleja. Una sola evaluación puede costar miles de dólares y demorar días en completarse. En contraste, los benchmarks no agentivos que evalúan capacidades individuales (p. ej., razonamiento, generación de código) son rápidos y económicos de ejecutar. En este artículo, investigamos si el rendimiento en benchmarks agentivos costosos puede predecirse con precisión a partir del rendimiento en un subconjunto pequeño y cuidadosamente seleccionado de instancias de evaluación atómicas. Presentamos PACE, un marco que construye benchmarks proxy seleccionando instancias de evaluaciones no agentivas existentes cuyos puntajes agregados predicen de manera más fiable el rendimiento del modelo en benchmarks agentivos. Dado un conjunto de instancias candidatas que abarcan capacidades atómicas, PACE ajusta una regresión que asigna los puntajes de un modelo en un subconjunto compacto de instancias fuente a su puntaje en el benchmark agentivo objetivo. El subconjunto se selecciona combinando dos estrategias complementarias de selección de instancias: selección local por relevancia al objetivo y selección global informativa. Aplicamos PACE a los 4 benchmarks agentivos objetivo de este artículo, dando lugar a PACE-Bench, el benchmark proxy concreto que evaluamos en el trabajo. Los experimentos realizados con 14 modelos, 4 benchmarks agentivos y 19 benchmarks no agentivos muestran que PACE-Bench predice los puntajes agentivos con un error absoluto medio (MAE) de validación cruzada dejando uno fuera (LOOCV) inferior al 4%, una correlación de Spearman superior a 0.80 y una precisión de clasificación de pares de modelos cercana al 85%, todo ello a menos del 1% del costo total de la evaluación agentiva. Además, analizamos las instancias proxy seleccionadas, revelando qué habilidades demanda cada benchmark agentivo de manera única. PACE permite a los profesionales obtener estimaciones fiables del rendimiento agentivo durante el desarrollo, selección y enrutamiento de modelos, sin la sobrecarga de una evaluación agentiva completa.

English

Evaluating LLM agents on benchmarks like SWE-Bench and GAIA can be expensive, time-consuming, and requires complex infrastructure. A single evaluation can cost thousands of dollars and take days to complete. In contrast, non-agentic LLM benchmarks that test individual capabilities (e.g., reasoning, code generation) are fast and cheap to run. In this paper, we investigate whether performance on expensive agentic benchmarks can be accurately predicted by the performance on a small, carefully selected subset of atomic evaluation instances. We introduce PACE, a framework that constructs proxy benchmarks by selecting instances from existing non-agentic evaluations whose aggregate scores most reliably predict model performances on agentic benchmarks. Given a pool of candidate instances spanning atomic capabilities, PACE fits a regression that maps a model's scores on a compact subset of source instances to its score on the target agentic benchmark. The subset itself is curated by combining two complementary instance-selection strategies, target-relevance local selection and globally informative global selection. We apply PACE to the 4 target agentic benchmarks in this paper, which yields PACE-Bench, the concrete proxy benchmark that we evaluate in the paper. Experiments across 14 models, 4 agentic benchmarks, and 19 non-agentic benchmarks show that PACE-Bench predicts agentic scores with leave-one-out cross-validation (LOOCV) mean absolute error (MAE) under 4%, Spearman correlation above 0.80, and pairwise model-ranking accuracy around 85%, all at much less than 1% of the full agentic evaluation cost. We further analyze the selected proxy instances, revealing which skills each agentic benchmark uniquely demands. PACE enables practitioners to obtain reliable estimates of agentic performance during model development, selection, and routing, without the overhead of full agent evaluation.