Ottimizzazione a Livello di Step per Agenti Informatici Efficienti

Step-level Optimization for Efficient Computer-use Agents

April 29, 2026

Autori: Jinbiao Wei, Kangqi Ni, Yilun Zhao, Guo Gan, Arman Cohan

cs.AI

Abstract

Gli agenti di utilizzo del computer rappresentano una strada promettente verso l'automazione software generale poiché possono interagire direttamente con interfacce utente grafiche arbitrarie, senza fare affidamento su integrazioni fragili e specifiche per applicazione. Nonostante i recenti progressi nelle prestazioni dei benchmark, gli agenti di utilizzo del computer più potenti rimangono costosi e lenti nella pratica, poiché la maggior parte dei sistemi richiama grandi modelli multimodali a quasi ogni passo di interazione. Sosteniamo che questa allocazione uniforme della potenza di calcolo sia fondamentalmente inefficiente per compiti GUI a lungo orizzonte. Tali traiettorie sono altamente eterogenee: molti passi sono di routine e possono essere gestiti in modo affidabile da politiche più piccole ed economiche, mentre gli errori tendono a concentrarsi in un numero relativamente piccolo di momenti ad alto rischio. Nei benchmark di utilizzo del computer, questi fallimenti assumono ripetutamente due forme: stalli di progresso, in cui l'agente entra in loop, ripete azioni inefficaci o non riesce a compiere progressi significativi, e deriva semantica silente, in cui l'agente continua a compiere azioni localmente plausibili dopo essersi già discostato dal vero obiettivo dell'utente. Per affrontare questa inefficienza, proponiamo una cascata a livello di passo, guidata da eventi, per gli agenti di utilizzo del computer che esegue una piccola politica di default e passa a un modello più potente solo quando monitor appresi e leggeri rilevano un rischio elevato. Il nostro framework combina due segnali complementari: un Monitoraggio di Blocco che rileva un progresso degradato dalla cronologia recente di ragionamento-azione e innesca un ripristino, e un Monitoraggio di Traguardo che identifica checkpoint semanticamente significativi dove una verifica sparsa è più informativa per individuare la deriva. Questo progetto trasforma l'inferenza sempre attiva dei modelli di frontiera in un'allocazione di potenza di calcolo adattiva e on-demand nel corso di un'interazione in evoluzione. Il framework è modulare e orientato alla deployment: può essere stratificato su agenti di utilizzo del computer esistenti senza modificare l'architettura dell'agente sottostante o riaddestrare il modello di grandi dimensioni.

English

Computer-use agents provide a promising path toward general software automation because they can interact directly with arbitrary graphical user interfaces instead of relying on brittle, application-specific integrations. Despite recent advances in benchmark performance, strong computer-use agents remain expensive and slow in practice, since most systems invoke large multimodal models at nearly every interaction step. We argue that this uniform allocation of compute is fundamentally inefficient for long-horizon GUI tasks. Such trajectories are highly heterogeneous: many steps are routine and can be handled reliably by smaller, cheaper policies, while errors tend to concentrate at a relatively small number of high-risk moments. Across computer-use benchmarks, these failures repeatedly take two forms: progress stalls, where the agent loops, repeats ineffective actions, or fails to make meaningful progress, and silent semantic drift, where the agent continues taking locally plausible actions after already deviating from the user's true goal. To address this inefficiency, we propose an event-driven, step-level cascade for computer-use agents that runs a small policy by default and escalates to a stronger model only when lightweight learned monitors detect elevated risk. Our framework combines two complementary signals: a Stuck Monitor that detects degraded progress from recent reasoning-action history and triggers recovery, and a Milestone Monitor that identifies semantically meaningful checkpoints where sparse verification is most informative for catching drift. This design turns always-on frontier-model inference into adaptive, on-demand compute allocation over the course of an evolving interaction. The framework is modular and deployment-oriented: it can be layered on top of existing computer-use agents without changing the underlying agent architecture or retraining the large model.