Sulla casualità nelle valutazioni agentiche
On Randomness in Agentic Evals
February 6, 2026
Autori: Bjarni Haukur Bjarnason, André Silva, Martin Monperrus
cs.AI
Abstract
I sistemi agentici vengono valutati su benchmark in cui gli agenti interagiscono con ambienti per risolvere compiti. La maggior parte degli articoli riporta un punteggio pass@1 calcolato da una singola esecuzione per task, presupponendo che questo fornisca una stima affidabile delle prestazioni. Mettiamo alla prova questo assunto raccogliendo 60.000 traiettorie agentiche su SWE-Bench-Verified, coprendo tre modelli e due scaffold. Rileviamo una varianza sostanziale: le stime pass@1 a singola esecuzione variano da 2,2 a 6,0 punti percentuali a seconda di quale esecuzione viene selezionata, con deviazioni standard superiori a 1,5 punti percentuali anche a temperatura 0. Questa varianza ha implicazioni critiche: i miglioramenti riportati di 2-3 punti percentuali potrebbero riflettere rumore valutativo piuttosto che un genuino progresso algoritmico. Attraverso un'analisi a livello di token, dimostriamo che le traiettorie divergono precocemente, spesso entro i primi pochi percentuali di token, e che queste piccole differenze si propagano in strategie di soluzione diverse. Per consentire una valutazione affidabile dei sistemi agentici, raccomandiamo tre pratiche concrete: (1) stimare il pass@1 da più esecuzioni indipendenti per task, specialmente quando si misurano piccoli miglioramenti, (2) utilizzare l'analisi della potenza statistica per determinare il numero di esecuzioni necessario per rilevare le dimensioni d'effetto attese, e (3) considerare metriche come pass@k (limite ottimistico) e pass^k (limite pessimistico) con k>1 per caratterizzare meglio l'intero envelope prestazionale. Sebbene queste pratiche aumentino il costo della valutazione, sono essenziali per distinguere il genuino progresso scientifico dal rumore statistico.
English
Agentic systems are evaluated on benchmarks where agents interact with environments to solve tasks. Most papers report a pass@1 score computed from a single run per task, assuming this gives a reliable performance estimate. We test this assumption by collecting 60,000 agentic trajectories on SWE-Bench-Verified, spanning three models and two scaffolds. We find substantial variance: single-run pass@1 estimates vary by 2.2 to 6.0 percentage points depending on which run is selected, with standard deviations exceeding 1.5 percentage points even at temperature 0. This variance has critical implications: reported improvements of 2--3 percentage points may reflect evaluation noise rather than genuine algorithmic progress. Through token-level analysis, we show that trajectories diverge early, often within the first few percent of tokens, and that these small differences cascade into different solution strategies. To enable reliable evaluation of agentic systems, we recommend three concrete practices: (1) estimate pass@1 from multiple independent runs per task, especially when measuring small improvements, (2) use statistical power analysis to determine the number of runs needed to detect expected effect sizes, and (3) consider metrics like pass@k (optimistic bound) and pass^k (pessimistic bound) with k>1 to better characterize the full performance envelope. While these practices increase evaluation cost, they are essential for distinguishing genuine scientific progress from statistical noise.