Sull’Affidabilità degli Agenti per l’Utilizzo del Computer
On the Reliability of Computer Use Agents
April 20, 2026
Autori: Gonzalo Gonzalez-Pumariega, Saaket Agashe, Jiachen Yang, Ang Li, Xin Eric Wang
cs.AI
Abstract
Gli agenti per l'uso del computer hanno rapidamente migliorato le loro prestazioni in compiti del mondo reale come la navigazione web, l'automazione desktop e l'interazione con il software, in alcuni casi superando le prestazioni umane. Tuttavia, anche quando il compito e il modello rimangono invariati, un agente che riesce una volta potrebbe fallire in un'esecuzione ripetuta dello stesso compito. Ciò solleva una questione fondamentale: se un agente può svolgere con successo un compito una volta, cosa gli impedisce di farlo in modo affidabile? In questo lavoro, studiamo le fonti di inaffidabilità negli agenti per l'uso del computer attraverso tre fattori: la stocasticità durante l'esecuzione, l'ambiguità nella specifica del compito e la variabilità nel comportamento dell'agente. Analizziamo questi fattori su OSWorld utilizzando esecuzioni ripetute dello stesso compito insieme a test statistici accoppiati che catturano cambiamenti a livello di compito tra diverse configurazioni. La nostra analisi mostra che l'affidabilità dipende sia da come i compiti sono specificati, sia da come il comportamento dell'agente varia tra le esecuzioni. Questi risultati suggeriscono la necessità di valutare gli agenti sotto esecuzioni ripetute, di consentire agli agenti di risolvere l'ambiguità del compito attraverso l'interazione e di favorire strategie che rimangano stabili tra diverse esecuzioni.
English
Computer-use agents have rapidly improved on real-world tasks such as web navigation, desktop automation, and software interaction, in some cases surpassing human performance. Yet even when the task and model are unchanged, an agent that succeeds once may fail on a repeated execution of the same task. This raises a fundamental question: if an agent can succeed at a task once, what prevents it from doing so reliably? In this work, we study the sources of unreliability in computer-use agents through three factors: stochasticity during execution, ambiguity in task specification, and variability in agent behavior. We analyze these factors on OSWorld using repeated executions of the same task together with paired statistical tests that capture task-level changes across settings. Our analysis shows that reliability depends on both how tasks are specified and how agent behavior varies across executions. These findings suggest the need to evaluate agents under repeated execution, to allow agents to resolve task ambiguity through interaction, and to favor strategies that remain stable across runs.