Voorbij statische ranglijsten: predictieve validiteit voor de evaluatie van LLM-agenten

Samenvatting

Agent benchmarks groeien snel, maar geen enkele benchmark bestrijkt meer dan vier of vijf van de dimensies die implementatie blootlegt. Dit artikel bundelt de grootste gecoördineerde diepgaande analyse tot nu toe van één op MCP gebaseerde industriële-agent benchmark: veertien parallelle implementatiestudies die nieuwe assetklassen (inclusief een multi-modale visuele uitbreiding), alternatieve orkestraties, retrieval-strategieën, redeneermodi, infrastructuuroptimalisaties en evaluatiemethodologische sondes omvatten. Door deze studies te consolideren met zeven eerdere agent benchmarks, betogen we dat leaderboards met geaggregeerde scores de evaluatie van geïmplementeerde agenten systematisch onderspecificeren. Ranglijsten afgeleid van geaggregeerde scores zijn niet overdraagbaar naar out-of-distribution settings; recente retrospectieven van openbare naar verborgen competities leveren direct empirisch bewijs voor deze ranginstabiliteit. We stellen voor configuraties te rangschikken op basis van predictieve validiteit, de correlatie tussen in-sample en out-of-sample rang, in plaats van het in-sample gemiddelde, en rapporteren een twaalfdelig meetapparaat dat de voor implementatie relevante dimensies blootlegt die HELM en zijn opvolgers in het agent-tijdperk comprimeren. Het standpunt wordt geoperationaliseerd via drie falsifieerbare out-of-distribution criteria met expliciete drempelwaarden; bestaand bewijs ondersteunt dit gedeeltelijk, maar is te mager om te bevestigen. We sluiten af met een vooraf geregistreerd pilotontwerp en een veldvisie voor wat de volgende generatie van agentische benchmarks zou moeten rapporteren.

English

Agent benchmarks are growing fast, but no single benchmark touches more than four or five of the dimensions that deployment exposes. This paper aggregates the largest coordinated deep-dive of one MCP-based industrial-agent benchmark to date: fourteen parallel implementation studies covering new asset classes (including a multi-modal visual extension), alternative orchestrations, retrieval strategies, reasoning modes, infrastructure optimizations, and evaluation-methodology probes. Consolidating those studies with seven prior agent benchmarks, we argue that aggregate-score leaderboards systematically underspecify deployed-agent evaluation. Rankings derived from aggregate scores do not transfer to out-of-distribution settings; recent public-to-hidden competition retrospectives provide direct empirical evidence of this rank instability. We propose ranking configurations by predictive validity, the correlation between in-sample and out-of-sample rank, rather than in-sample mean, and report a twelve-tier measurement apparatus that exposes the deployment-relevant dimensions HELM and its agent-era successors collapse. The position is operationalized through three falsifiable out-of-distribution criteria with explicit thresholds; existing evidence partly supports it but is too thin to confirm. We close with a pre-registered pilot design and a field-level vision for what the next generation of agentic benchmarks should report.