Sobre a Aleatoriedade nas Avaliações de Agentes
On Randomness in Agentic Evals
February 6, 2026
Autores: Bjarni Haukur Bjarnason, André Silva, Martin Monperrus
cs.AI
Resumo
Os sistemas agentes são avaliados em benchmarks onde os agentes interagem com ambientes para resolver tarefas. A maioria dos artigos reporta uma pontuação pass@1 calculada a partir de uma única execução por tarefa, assumindo que isto fornece uma estimativa de desempenho confiável. Nós testamos esta suposição recolhendo 60.000 trajetórias agentes no SWE-Bench-Verified, abrangendo três modelos e dois *scaffolds*. Descobrimos uma variância substancial: as estimativas pass@1 de uma única execução variam entre 2,2 e 6,0 pontos percentuais, dependendo de qual execução é selecionada, com desvios padrão superiores a 1,5 pontos percentuais, mesmo à temperatura 0. Esta variância tem implicações críticas: melhorias reportadas de 2 a 3 pontos percentuais podem refletir ruído de avaliação em vez de progresso algorítmico genuíno. Através de uma análise a nível de *token*, mostramos que as trajetórias divergem cedo, frequentemente nos primeiros poucos percentuais de *tokens*, e que estas pequenas diferenças se propagam em cascata para diferentes estratégias de solução. Para permitir uma avaliação confiável de sistemas agentes, recomendamos três práticas concretas: (1) estimar pass@1 a partir de múltiplas execuções independentes por tarefa, especialmente ao medir pequenas melhorias, (2) usar análise de poder estatístico para determinar o número de execuções necessárias para detetar os tamanhos de efeito esperados, e (3) considerar métricas como pass@k (limite otimista) e pass^k (limite pessimista) com k>1 para caracterizar melhor o envelope completo de desempenho. Embora estas práticas aumentem o custo da avaliação, elas são essenciais para distinguir o progresso científico genuíno do ruído estatístico.
English
Agentic systems are evaluated on benchmarks where agents interact with environments to solve tasks. Most papers report a pass@1 score computed from a single run per task, assuming this gives a reliable performance estimate. We test this assumption by collecting 60,000 agentic trajectories on SWE-Bench-Verified, spanning three models and two scaffolds. We find substantial variance: single-run pass@1 estimates vary by 2.2 to 6.0 percentage points depending on which run is selected, with standard deviations exceeding 1.5 percentage points even at temperature 0. This variance has critical implications: reported improvements of 2--3 percentage points may reflect evaluation noise rather than genuine algorithmic progress. Through token-level analysis, we show that trajectories diverge early, often within the first few percent of tokens, and that these small differences cascade into different solution strategies. To enable reliable evaluation of agentic systems, we recommend three concrete practices: (1) estimate pass@1 from multiple independent runs per task, especially when measuring small improvements, (2) use statistical power analysis to determine the number of runs needed to detect expected effect sizes, and (3) consider metrics like pass@k (optimistic bound) and pass^k (pessimistic bound) with k>1 to better characterize the full performance envelope. While these practices increase evaluation cost, they are essential for distinguishing genuine scientific progress from statistical noise.