Jenseits statischer Ranglisten: Prädiktive Validität für die Evaluation von LLM-Agenten

Zusammenfassung

Agenten-Benchmarks entwickeln sich rasant, doch kein einzelner Benchmark deckt mehr als vier oder fünf der Dimensionen ab, die der praktische Einsatz offenbart. Diese Arbeit fasst die bisher größte koordinierte Tiefenanalyse eines MCP-basierten Industrie-Agenten-Benchmarks zusammen: vierzehn parallele Implementierungsstudien, die neue Anlageklassen (einschließlich einer multimodalen visuellen Erweiterung), alternative Orchestrierungen, Abrufstrategien, Denkmodi, Infrastrukturoptimierungen und methodische Evaluationsexperimente umfassen. Durch die Zusammenführung dieser Studien mit sieben früheren Agenten-Benchmarks argumentieren wir, dass Ranglisten auf Basis aggregierter Punktzahlen die Bewertung von eingesetzten Agenten systematisch unzureichend spezifizieren. Aus aggregierten Punktzahlen abgeleitete Rangfolgen lassen sich nicht auf außerhalb der Verteilung liegende Umgebungen übertragen; aktuelle Retrospektiven zu öffentlich-verdeckten Wettbewerben liefern direkte empirische Belege für diese Ranginstabilität. Wir schlagen vor, Konfigurationen nach ihrer prädiktiven Validität zu ordnen, also der Korrelation zwischen In-Sample- und Out-of-Sample-Rang, anstatt nach dem In-Sample-Mittelwert. Dazu entwickeln wir ein Messinstrument mit zwölf Stufen, das die einsatzrelevanten Dimensionen offenlegt, die HELM und seine Nachfolger im Agentenzeitalter zusammenfassen. Diese Position wird durch drei falsifizierbare Out-of-Distribution-Kriterien mit expliziten Schwellenwerten operationalisiert; vorhandene Belege stützen sie teilweise, sind jedoch zu dünn, um sie zu bestätigen. Wir schließen mit einem vorregistrierten Pilotdesign und einer visionären Perspektive für die nächste Generation agentischer Benchmarks.

English

Agent benchmarks are growing fast, but no single benchmark touches more than four or five of the dimensions that deployment exposes. This paper aggregates the largest coordinated deep-dive of one MCP-based industrial-agent benchmark to date: fourteen parallel implementation studies covering new asset classes (including a multi-modal visual extension), alternative orchestrations, retrieval strategies, reasoning modes, infrastructure optimizations, and evaluation-methodology probes. Consolidating those studies with seven prior agent benchmarks, we argue that aggregate-score leaderboards systematically underspecify deployed-agent evaluation. Rankings derived from aggregate scores do not transfer to out-of-distribution settings; recent public-to-hidden competition retrospectives provide direct empirical evidence of this rank instability. We propose ranking configurations by predictive validity, the correlation between in-sample and out-of-sample rank, rather than in-sample mean, and report a twelve-tier measurement apparatus that exposes the deployment-relevant dimensions HELM and its agent-era successors collapse. The position is operationalized through three falsifiable out-of-distribution criteria with explicit thresholds; existing evidence partly supports it but is too thin to confirm. We close with a pre-registered pilot design and a field-level vision for what the next generation of agentic benchmarks should report.