Más allá de las tablas de clasificación estáticas: validez predictiva para la evaluación de agentes LLM

Resumen

Los benchmarks de agentes crecen rápidamente, pero ningún benchmark individual abarca más de cuatro o cinco de las dimensiones que la implementación revela. Este artículo agrega la mayor inmersión coordinada en profundidad realizada hasta la fecha sobre un benchmark de agente industrial basado en MCP: catorce estudios de implementación paralelos que cubren nuevas clases de activos (incluyendo una extensión visual multimodal), orquestaciones alternativas, estrategias de recuperación, modos de razonamiento, optimizaciones de infraestructura y sondeos metodológicos de evaluación. Consolidando estos estudios con siete benchmarks de agente previos, sostenemos que los tableros de clasificación basados en puntuaciones agregadas subespecifican sistemáticamente la evaluación de agentes implementados. Los rankings derivados de puntuaciones agregadas no se transfieren a entornos fuera de distribución; retrospectivas recientes de competiciones públicas a ocultas ofrecen evidencia empírica directa de esta inestabilidad en el ranking. Proponemos configuraciones de clasificación según la validez predictiva, es decir, la correlación entre el rango intra-muestra y extra-muestra, en lugar de la media intra-muestra, y reportamos un aparato de medición de doce niveles que expone las dimensiones relevantes para la implementación que HELM y sus sucesores en la era de los agentes colapsan. La postura se operacionaliza mediante tres criterios falsables fuera de distribución con umbrales explícitos; la evidencia existente la respalda parcialmente, pero es demasiado escasa para confirmarla. Concluimos con un diseño piloto preregistrado y una visión a nivel de campo de lo que la próxima generación de benchmarks de agentes debería reportar.

English

Agent benchmarks are growing fast, but no single benchmark touches more than four or five of the dimensions that deployment exposes. This paper aggregates the largest coordinated deep-dive of one MCP-based industrial-agent benchmark to date: fourteen parallel implementation studies covering new asset classes (including a multi-modal visual extension), alternative orchestrations, retrieval strategies, reasoning modes, infrastructure optimizations, and evaluation-methodology probes. Consolidating those studies with seven prior agent benchmarks, we argue that aggregate-score leaderboards systematically underspecify deployed-agent evaluation. Rankings derived from aggregate scores do not transfer to out-of-distribution settings; recent public-to-hidden competition retrospectives provide direct empirical evidence of this rank instability. We propose ranking configurations by predictive validity, the correlation between in-sample and out-of-sample rank, rather than in-sample mean, and report a twelve-tier measurement apparatus that exposes the deployment-relevant dimensions HELM and its agent-era successors collapse. The position is operationalized through three falsifiable out-of-distribution criteria with explicit thresholds; existing evidence partly supports it but is too thin to confirm. We close with a pre-registered pilot design and a field-level vision for what the next generation of agentic benchmarks should report.