Além dos Rankings Estáticos: Validade Preditiva para a Avaliação de Agentes LLM

Resumo

Os benchmarks de agentes estão crescendo rapidamente, mas nenhum benchmark isolado abrange mais de quatro ou cinco das dimensões que a implantação expõe. Este artigo agrega o maior mergulho profundo coordenado de um benchmark de agente industrial baseado em MCP até o momento: quatorze estudos de implementação paralela cobrindo novas classes de ativos (incluindo uma extensão visual multimodal), orquestrações alternativas, estratégias de recuperação, modos de raciocínio, otimizações de infraestrutura e sondas de metodologia de avaliação. Consolidando esses estudos com sete benchmarks de agentes anteriores, argumentamos que os rankings baseados em pontuações agregadas subespecificam sistematicamente a avaliação de agentes implantados. Rankings derivados de pontuações agregadas não se transferem para configurações fora da distribuição; retrospectivas recentes de competições públicas para ocultas fornecem evidências empíricas diretas dessa instabilidade de classificação. Propomos classificar configurações por validade preditiva, a correlação entre a classificação na amostra e fora dela, em vez da média na amostra, e relatamos um aparato de medição de doze níveis que expõe as dimensões relevantes para implantação que o HELM e seus sucessores da era dos agentes colapsam. A posição é operacionalizada por meio de três critérios falsificáveis fora da distribuição com limites explícitos; as evidências existentes a apoiam parcialmente, mas são muito escassas para confirmar. Concluímos com um design piloto pré-registrado e uma visão em nível de campo sobre o que a próxima geração de benchmarks agentivos deve relatar.

English

Agent benchmarks are growing fast, but no single benchmark touches more than four or five of the dimensions that deployment exposes. This paper aggregates the largest coordinated deep-dive of one MCP-based industrial-agent benchmark to date: fourteen parallel implementation studies covering new asset classes (including a multi-modal visual extension), alternative orchestrations, retrieval strategies, reasoning modes, infrastructure optimizations, and evaluation-methodology probes. Consolidating those studies with seven prior agent benchmarks, we argue that aggregate-score leaderboards systematically underspecify deployed-agent evaluation. Rankings derived from aggregate scores do not transfer to out-of-distribution settings; recent public-to-hidden competition retrospectives provide direct empirical evidence of this rank instability. We propose ranking configurations by predictive validity, the correlation between in-sample and out-of-sample rank, rather than in-sample mean, and report a twelve-tier measurement apparatus that exposes the deployment-relevant dimensions HELM and its agent-era successors collapse. The position is operationalized through three falsifiable out-of-distribution criteria with explicit thresholds; existing evidence partly supports it but is too thin to confirm. We close with a pre-registered pilot design and a field-level vision for what the next generation of agentic benchmarks should report.