Over Willekeur in Agent-Evaluaties
On Randomness in Agentic Evals
February 6, 2026
Auteurs: Bjarni Haukur Bjarnason, André Silva, Martin Monperrus
cs.AI
Samenvatting
Agentische systemen worden geëvalueerd aan de hand van benchmarks waarbij agenten interacteren met omgevingen om taken op te lossen. De meeste publicaties rapporteren een pass@1-score die wordt berekend op basis van een enkele run per taak, in de veronderstelling dat dit een betrouwbare prestatieschatting oplevert. Wij testen deze aanname door 60.000 agentische trajecten te verzamelen op SWE-Bench-Verified, verspreid over drie modellen en twee scaffolds. We constateren aanzienlijke variantie: pass@1-schattingen op basis van één run variëren met 2,2 tot 6,0 procentpunten afhankelijk van welke run wordt geselecteerd, met standaarddeviaties groter dan 1,5 procentpunten, zelfs bij temperatuur 0. Deze variantie heeft kritieke implicaties: gerapporteerde verbeteringen van 2–3 procentpunten kunnen evaluatieruis weerspiegelen in plaats van echte algoritmische vooruitgang. Door analyse op tokenniveau tonen we aan dat trajecten vroeg divergeren, vaak binnen de eerste paar procent van de tokens, en dat deze kleine verschillen uitmonden in verschillende oplossingsstrategieën. Om betrouwbare evaluatie van agentische systemen mogelijk te maken, bevelen we drie concrete praktijken aan: (1) schat pass@1 op basis van meerdere onafhankelijke runs per taak, vooral bij het meten van kleine verbeteringen, (2) gebruik statistische poweranalyse om het aantal benodigde runs te bepalen om verwachte effectgroottes te detecteren, en (3) overweeg metrieken zoals pass@k (optimistische grens) en pass^k (pessimistische grens) met k>1 om het volledige prestatiebereik beter te karakteriseren. Hoewel deze praktijken de evaluatiekosten verhogen, zijn ze essentieel om echte wetenschappelijke vooruitgang te onderscheiden van statistische ruis.
English
Agentic systems are evaluated on benchmarks where agents interact with environments to solve tasks. Most papers report a pass@1 score computed from a single run per task, assuming this gives a reliable performance estimate. We test this assumption by collecting 60,000 agentic trajectories on SWE-Bench-Verified, spanning three models and two scaffolds. We find substantial variance: single-run pass@1 estimates vary by 2.2 to 6.0 percentage points depending on which run is selected, with standard deviations exceeding 1.5 percentage points even at temperature 0. This variance has critical implications: reported improvements of 2--3 percentage points may reflect evaluation noise rather than genuine algorithmic progress. Through token-level analysis, we show that trajectories diverge early, often within the first few percent of tokens, and that these small differences cascade into different solution strategies. To enable reliable evaluation of agentic systems, we recommend three concrete practices: (1) estimate pass@1 from multiple independent runs per task, especially when measuring small improvements, (2) use statistical power analysis to determine the number of runs needed to detect expected effect sizes, and (3) consider metrics like pass@k (optimistic bound) and pass^k (pessimistic bound) with k>1 to better characterize the full performance envelope. While these practices increase evaluation cost, they are essential for distinguishing genuine scientific progress from statistical noise.