에이전트 평가에서의 무작위성에 관하여

On Randomness in Agentic Evals

February 6, 2026

저자: Bjarni Haukur Bjarnason, André Silva, Martin Monperrus

cs.AI

초록

에이전트 시스템은 과제 해결을 위해 환경과 상호작용하는 벤치마크에서 평가됩니다. 대부분의 논문은 각 과제당 단일 실행으로 계산된 pass@1 점수를 보고하며, 이로써 신뢰할 수 있는 성능 추정치를 얻을 수 있다고 가정합니다. 본 연구는 이러한 가정을 검증하기 위해 SWE-Bench-Verified에서 세 가지 모델과 두 가지 스캐폴드에 걸쳐 60,000개의 에이전트 트랙토리를 수집했습니다. 우리는 상당한 변동성을 확인했습니다: 단일 실행 pass@1 추정치는 선택된 실행에 따라 2.2~6.0% 포인트까지 변하며, temperature 0에서도 표준편차가 1.5% 포인트를 초과합니다. 이러한 변동성은 중요한 함의를 가집니다: 보고된 2~3% 포인트의 개선은 실제 알고리즘적 진보가 아닌 평가 노이즈를 반영할 수 있습니다. 토큰 수준 분석을 통해 트랙토리는 초기, 종종 첫 몇 %의 토큰 내에서 분기하며, 이러한 작은 차이가 서로 다른 해결 전략으로 이어짐을 확인했습니다. 에이전트 시스템의 신뢰할 수 있는 평가를 위해 우리는 세 가지 구체적인 실천 방안을 제안합니다: (1) 특히 작은 개선을 측정할 때 과제당 여러 독립 실행을 통해 pass@1을 추정할 것, (2) 기대 효과 크기를 탐지하는 데 필요한 실행 횟수를 결정하기 위해 통계적 검정력 분석을 사용할 것, (3) k>1인 pass@k(낙관적 경계) 및 pass^k(비관적 경계) 같은 지표를 고려하여 전체 성능 포락선을 더 잘 특성화할 것. 이러한 실천은 평가 비용을 증가시키지만, 진정한 과학적 진보와 통계적 노이즈를 구분하는 데 필수적입니다.

English

Agentic systems are evaluated on benchmarks where agents interact with environments to solve tasks. Most papers report a pass@1 score computed from a single run per task, assuming this gives a reliable performance estimate. We test this assumption by collecting 60,000 agentic trajectories on SWE-Bench-Verified, spanning three models and two scaffolds. We find substantial variance: single-run pass@1 estimates vary by 2.2 to 6.0 percentage points depending on which run is selected, with standard deviations exceeding 1.5 percentage points even at temperature 0. This variance has critical implications: reported improvements of 2--3 percentage points may reflect evaluation noise rather than genuine algorithmic progress. Through token-level analysis, we show that trajectories diverge early, often within the first few percent of tokens, and that these small differences cascade into different solution strategies. To enable reliable evaluation of agentic systems, we recommend three concrete practices: (1) estimate pass@1 from multiple independent runs per task, especially when measuring small improvements, (2) use statistical power analysis to determine the number of runs needed to detect expected effect sizes, and (3) consider metrics like pass@k (optimistic bound) and pass^k (pessimistic bound) with k>1 to better characterize the full performance envelope. While these practices increase evaluation cost, they are essential for distinguishing genuine scientific progress from statistical noise.