Au-delà des classements statiques : validité prédictive pour l’évaluation des agents LLM

Résumé

Les benchmarks d'agents se développent rapidement, mais aucun benchmark unique ne couvre plus de quatre ou cinq des dimensions révélées par le déploiement. Cet article agrège la plus vaste analyse approfondie coordonnée à ce jour d'un benchmark d'agents industriels basé sur MCP : quatorze études d'implémentation parallèles couvrant de nouvelles classes d'actifs (incluant une extension visuelle multimodale), des orchestrations alternatives, des stratégies de récupération, des modes de raisonnement, des optimisations d'infrastructure et des sondages méthodologiques d'évaluation. En consolidant ces études avec sept benchmarks d'agents antérieurs, nous soutenons que les classements basés sur des scores agrégés sous-spécifient systématiquement l'évaluation des agents déployés. Les classements dérivés de scores agrégés ne se transfèrent pas aux paramètres hors distribution ; des rétrospectives récentes de compétitions publiques à privées fournissent une preuve empirique directe de cette instabilité des rangs. Nous proposons de classer les configurations selon la validité prédictive, c'est-à-dire la corrélation entre le rang intra-échantillon et le rang hors échantillon, plutôt que la moyenne intra-échantillon, et présentons un appareil de mesure à douze niveaux qui expose les dimensions pertinentes pour le déploiement que HELM et ses successeurs de l'ère des agents ont réduites. Cette position est opérationnalisée à travers trois critères falsifiables hors distribution avec des seuils explicites ; les preuves existantes la soutiennent partiellement mais sont trop minces pour la confirmer. Nous concluons par une conception pilote pré-enregistrée et une vision au niveau du terrain pour ce que la prochaine génération de benchmarks d'agents devrait rapporter.

English

Agent benchmarks are growing fast, but no single benchmark touches more than four or five of the dimensions that deployment exposes. This paper aggregates the largest coordinated deep-dive of one MCP-based industrial-agent benchmark to date: fourteen parallel implementation studies covering new asset classes (including a multi-modal visual extension), alternative orchestrations, retrieval strategies, reasoning modes, infrastructure optimizations, and evaluation-methodology probes. Consolidating those studies with seven prior agent benchmarks, we argue that aggregate-score leaderboards systematically underspecify deployed-agent evaluation. Rankings derived from aggregate scores do not transfer to out-of-distribution settings; recent public-to-hidden competition retrospectives provide direct empirical evidence of this rank instability. We propose ranking configurations by predictive validity, the correlation between in-sample and out-of-sample rank, rather than in-sample mean, and report a twelve-tier measurement apparatus that exposes the deployment-relevant dimensions HELM and its agent-era successors collapse. The position is operationalized through three falsifiable out-of-distribution criteria with explicit thresholds; existing evidence partly supports it but is too thin to confirm. We close with a pre-registered pilot design and a field-level vision for what the next generation of agentic benchmarks should report.