Über Zufälligkeit in agentenbasierten Evaluationen
On Randomness in Agentic Evals
February 6, 2026
papers.authors: Bjarni Haukur Bjarnason, André Silva, Martin Monperrus
cs.AI
papers.abstract
Agentische Systeme werden anhand von Benchmarks bewertet, bei denen Agenten mit Umgebungen interagieren, um Aufgaben zu lösen. Die meisten Arbeiten berichten einen pass@1-Score, der auf einer einzigen Ausführung pro Aufgabe basiert, in der Annahme, dass dies eine zuverlässige Leistungsschätzung liefert. Wir überprüfen diese Annahme, indem wir 60.000 agentische Trajektorien auf SWE-Bench-Verified sammeln, die drei Modelle und zwei Scaffolds umfassen. Wir stellen eine erhebliche Varianz fest: Die pass@1-Schätzwerte einer einzelnen Ausführung variieren um 2,2 bis 6,0 Prozentpunkte, je nachdem, welche Ausführung ausgewählt wird, mit Standardabweichungen von über 1,5 Prozentpunkten selbst bei Temperatur 0. Diese Varianz hat kritische Implikationen: Berichtete Verbesserungen von 2–3 Prozentpunkten könnten Evaluationsrauschen widerspiegeln und nicht echten algorithmischen Fortschritt. Durch Token-level-Analysen zeigen wir, dass sich Trajektorien früh, oft innerhalb der ersten wenigen Prozent der Tokens, verzweigen und dass diese kleinen Unterschiede zu unterschiedlichen Lösungsstrategien kaskadieren. Um eine zuverlässige Evaluation agentischer Systeme zu ermöglichen, empfehlen wir drei konkrete Praktiken: (1) Schätzung von pass@1 aus mehreren unabhängigen Ausführungen pro Aufgabe, insbesondere bei der Messung kleiner Verbesserungen, (2) Verwendung von statistischer Power-Analyse, um die Anzahl der benötigten Ausführungen zur Erkennung erwarteter Effektgrößen zu bestimmen, und (3) Berücksichtigung von Metriken wie pass@k (optimistische Schranke) und pass^k (pessimistische Schranke) mit k>1, um das gesamte Leistungsspektrum besser zu charakterisieren. Obwohl diese Praktiken die Evaluationskosten erhöhen, sind sie entscheidend, um echten wissenschaftlichen Fortschritt von statistischem Rauschen zu unterscheiden.
English
Agentic systems are evaluated on benchmarks where agents interact with environments to solve tasks. Most papers report a pass@1 score computed from a single run per task, assuming this gives a reliable performance estimate. We test this assumption by collecting 60,000 agentic trajectories on SWE-Bench-Verified, spanning three models and two scaffolds. We find substantial variance: single-run pass@1 estimates vary by 2.2 to 6.0 percentage points depending on which run is selected, with standard deviations exceeding 1.5 percentage points even at temperature 0. This variance has critical implications: reported improvements of 2--3 percentage points may reflect evaluation noise rather than genuine algorithmic progress. Through token-level analysis, we show that trajectories diverge early, often within the first few percent of tokens, and that these small differences cascade into different solution strategies. To enable reliable evaluation of agentic systems, we recommend three concrete practices: (1) estimate pass@1 from multiple independent runs per task, especially when measuring small improvements, (2) use statistical power analysis to determine the number of runs needed to detect expected effect sizes, and (3) consider metrics like pass@k (optimistic bound) and pass^k (pessimistic bound) with k>1 to better characterize the full performance envelope. While these practices increase evaluation cost, they are essential for distinguishing genuine scientific progress from statistical noise.