Sur le caractère aléatoire dans les évaluations agentiques
On Randomness in Agentic Evals
February 6, 2026
papers.authors: Bjarni Haukur Bjarnason, André Silva, Martin Monperrus
cs.AI
papers.abstract
Les systèmes agentiels sont évalués sur des benchmarks où les agents interagissent avec des environnements pour résoudre des tâches. La plupart des articles rapportent un score pass@1 calculé à partir d'une seule exécution par tâche, en supposant que cela donne une estimation fiable des performances. Nous testons cette hypothèse en collectant 60 000 trajectoires agentielles sur SWE-Bench-Verified, couvrant trois modèles et deux échafaudages. Nous constatons une variance substantielle : les estimations pass@1 à une seule exécution varient de 2,2 à 6,0 points de pourcentage selon l'exécution sélectionnée, avec des écarts-types dépassant 1,5 point de pourcentage même à température 0. Cette variance a des implications critiques : les améliorations rapportées de 2 à 3 points de pourcentage peuvent refléter du bruit d'évaluation plutôt qu'un progrès algorithmique réel. Par une analyse au niveau des tokens, nous montrons que les trajectoires divergent tôt, souvent dans les premiers pourcents de tokens, et que ces petites différences se propagent en différentes stratégies de résolution. Pour permettre une évaluation fiable des systèmes agentiels, nous recommandons trois pratiques concrètes : (1) estimer pass@1 à partir de multiples exécutions indépendantes par tâche, surtout lors de la mesure de petites améliorations, (2) utiliser une analyse de puissance statistique pour déterminer le nombre d'exécutions nécessaires pour détecter les tailles d'effet attendues, et (3) considérer des métriques comme pass@k (borne optimiste) et pass^k (borne pessimiste) avec k>1 pour mieux caractériser l'enveloppe complète des performances. Bien que ces pratiques augmentent le coût de l'évaluation, elles sont essentielles pour distinguer le progrès scientifique réel du bruit statistique.
English
Agentic systems are evaluated on benchmarks where agents interact with environments to solve tasks. Most papers report a pass@1 score computed from a single run per task, assuming this gives a reliable performance estimate. We test this assumption by collecting 60,000 agentic trajectories on SWE-Bench-Verified, spanning three models and two scaffolds. We find substantial variance: single-run pass@1 estimates vary by 2.2 to 6.0 percentage points depending on which run is selected, with standard deviations exceeding 1.5 percentage points even at temperature 0. This variance has critical implications: reported improvements of 2--3 percentage points may reflect evaluation noise rather than genuine algorithmic progress. Through token-level analysis, we show that trajectories diverge early, often within the first few percent of tokens, and that these small differences cascade into different solution strategies. To enable reliable evaluation of agentic systems, we recommend three concrete practices: (1) estimate pass@1 from multiple independent runs per task, especially when measuring small improvements, (2) use statistical power analysis to determine the number of runs needed to detect expected effect sizes, and (3) consider metrics like pass@k (optimistic bound) and pass^k (pessimistic bound) with k>1 to better characterize the full performance envelope. While these practices increase evaluation cost, they are essential for distinguishing genuine scientific progress from statistical noise.