О случайности в агентных оценках
On Randomness in Agentic Evals
February 6, 2026
Авторы: Bjarni Haukur Bjarnason, André Silva, Martin Monperrus
cs.AI
Аннотация
Агентные системы оцениваются на бенчмарках, где агенты взаимодействуют со средой для решения задач. В большинстве статей сообщается показатель pass@1, вычисленный на основе одного запуска на задачу, в предположении, что это дает надежную оценку производительности. Мы проверяем это предположение, собрав 60 000 агентных траекторий на SWE-Bench-Verified для трех моделей и двух каркасов. Мы обнаружили значительную вариативность: оценки pass@1 по одному запуску варьируются на 2,2–6,0 процентных пункта в зависимости от выбранного запуска, при этом стандартное отклонение превышает 1,5 процентных пункта даже при температуре 0. Эта вариативность имеет критическое значение: заявленные улучшения на 2–3 процентных пункта могут отражать шум оценки, а не реальный алгоритмический прогресс. С помощью анализа на уровне токенов мы показываем, что траектории расходятся рано, часто в пределах первых нескольких процентов токенов, и эти небольшие различия каскадно приводят к разным стратегиям решения. Для обеспечения надежной оценки агентных систем мы рекомендуем три конкретные практики: (1) оценивать pass@1 по нескольким независимым запускам на задачу, особенно при измерении небольших улучшений, (2) использовать анализ статистической мощности для определения количества запусков, необходимых для обнаружения ожидаемых размеров эффекта, и (3) рассматривать метрики типа pass@k (оптимистичная граница) и pass^k (пессимистичная граница) при k>1 для лучшей характеристики полного диапазона производительности. Хотя эти практики увеличивают стоимость оценки, они необходимы для различения подлинного научного прогресса и статистического шума.
English
Agentic systems are evaluated on benchmarks where agents interact with environments to solve tasks. Most papers report a pass@1 score computed from a single run per task, assuming this gives a reliable performance estimate. We test this assumption by collecting 60,000 agentic trajectories on SWE-Bench-Verified, spanning three models and two scaffolds. We find substantial variance: single-run pass@1 estimates vary by 2.2 to 6.0 percentage points depending on which run is selected, with standard deviations exceeding 1.5 percentage points even at temperature 0. This variance has critical implications: reported improvements of 2--3 percentage points may reflect evaluation noise rather than genuine algorithmic progress. Through token-level analysis, we show that trajectories diverge early, often within the first few percent of tokens, and that these small differences cascade into different solution strategies. To enable reliable evaluation of agentic systems, we recommend three concrete practices: (1) estimate pass@1 from multiple independent runs per task, especially when measuring small improvements, (2) use statistical power analysis to determine the number of runs needed to detect expected effect sizes, and (3) consider metrics like pass@k (optimistic bound) and pass^k (pessimistic bound) with k>1 to better characterize the full performance envelope. While these practices increase evaluation cost, they are essential for distinguishing genuine scientific progress from statistical noise.