Sobre la Aleatoriedad en las Evaluaciones de Agentes
On Randomness in Agentic Evals
February 6, 2026
Autores: Bjarni Haukur Bjarnason, André Silva, Martin Monperrus
cs.AI
Resumen
Los sistemas agentes se evalúan mediante benchmarks en los que los agentes interactúan con entornos para resolver tareas. La mayoría de los artículos reportan una puntuación pass@1 calculada a partir de una única ejecución por tarea, asumiendo que esto proporciona una estimación fiable del rendimiento. Ponemos a prueba esta suposición recopilando 60,000 trayectorias agentes en SWE-Bench-Verified, abarcando tres modelos y dos scaffolds. Encontramos una varianza sustancial: las estimaciones pass@1 de una sola ejecución varían entre 2.2 y 6.0 puntos porcentuales dependiendo de qué ejecución se seleccione, con desviaciones estándar que superan 1.5 puntos porcentuales incluso con temperatura 0. Esta varianza tiene implicaciones críticas: las mejoras reportadas de 2-3 puntos porcentuales pueden reflejar ruido en la evaluación en lugar de un progreso algorítmico genuino. Mediante un análisis a nivel de token, mostramos que las trayectorias divergen tempranamente, a menudo dentro del primer pequeño porcentaje de tokens, y que estas pequeñas diferencias se convierten en cascada en diferentes estrategias de solución. Para permitir una evaluación fiable de los sistemas agentes, recomendamos tres prácticas concretas: (1) estimar pass@1 a partir de múltiples ejecuciones independientes por tarea, especialmente al medir pequeñas mejoras, (2) utilizar análisis de potencia estadística para determinar el número de ejecuciones necesarias para detectar los tamaños del efecto esperados, y (3) considerar métricas como pass@k (límite optimista) y pass^k (límite pesimista) con k>1 para caracterizar mejor el rango completo de rendimiento. Si bien estas prácticas aumentan el costo de la evaluación, son esenciales para distinguir el progreso científico genuino del ruido estadístico.
English
Agentic systems are evaluated on benchmarks where agents interact with environments to solve tasks. Most papers report a pass@1 score computed from a single run per task, assuming this gives a reliable performance estimate. We test this assumption by collecting 60,000 agentic trajectories on SWE-Bench-Verified, spanning three models and two scaffolds. We find substantial variance: single-run pass@1 estimates vary by 2.2 to 6.0 percentage points depending on which run is selected, with standard deviations exceeding 1.5 percentage points even at temperature 0. This variance has critical implications: reported improvements of 2--3 percentage points may reflect evaluation noise rather than genuine algorithmic progress. Through token-level analysis, we show that trajectories diverge early, often within the first few percent of tokens, and that these small differences cascade into different solution strategies. To enable reliable evaluation of agentic systems, we recommend three concrete practices: (1) estimate pass@1 from multiple independent runs per task, especially when measuring small improvements, (2) use statistical power analysis to determine the number of runs needed to detect expected effect sizes, and (3) consider metrics like pass@k (optimistic bound) and pass^k (pessimistic bound) with k>1 to better characterize the full performance envelope. While these practices increase evaluation cost, they are essential for distinguishing genuine scientific progress from statistical noise.