Otimização em Nível de Etapa para Agentes de Uso de Computador Eficientes

Step-level Optimization for Efficient Computer-use Agents

April 29, 2026

Autores: Jinbiao Wei, Kangqi Ni, Yilun Zhao, Guo Gan, Arman Cohan

cs.AI

Resumo

Os agentes de uso computacional oferecem um caminho promissor para a automação geral de software porque podem interagir diretamente com interfaces gráficas de usuário arbitrárias, em vez de depender de integrações específicas de aplicativos e frágeis. Apesar dos avanços recentes no desempenho de benchmarks, agentes de uso computacional robustos permanecem caros e lentos na prática, uma vez que a maioria dos sistemas invoca grandes modelos multimodais em quase todas as etapas de interação. Argumentamos que essa alocação uniforme de capacidade computacional é fundamentalmente ineficiente para tarefas de GUI de longo horizonte. Tais trajetórias são altamente heterogêneas: muitas etapas são rotineiras e podem ser tratadas de forma confiável por políticas menores e mais baratas, enquanto os erros tendem a se concentrar em um número relativamente pequeno de momentos de alto risco. Em benchmarks de uso computacional, essas falhas repetidamente assumem duas formas: paradas de progresso, onde o agente entra em loop, repete ações ineficazes ou falha em progredir significativamente, e desvio semântico silencioso, onde o agente continua realizando ações localmente plausíveis após já ter se desviado do verdadeiro objetivo do usuário. Para abordar essa ineficiência, propomos uma cascata em nível de etapa, orientada a eventos, para agentes de uso computacional que executa uma pequena política por padrão e escala para um modelo mais forte apenas quando monitores leves e aprendizados detectam risco elevado. Nossa estrutura combina dois sinais complementares: um Monitor de Bloqueio que detecta progresso degradado a partir do histórico recente de raciocínio-ação e aciona a recuperação, e um Monitor de Marcos que identifica pontos de verificação semanticamente significativos onde a verificação esparsa é mais informativa para capturar desvios. Este projeto transforma a inferência constante de modelos de fronteira em uma alocação adaptativa e sob demanda de capacidade computacional ao longo de uma interação em evolução. A estrutura é modular e orientada à implantação: pode ser sobreposta a agentes de uso computacional existentes sem alterar a arquitetura do agente subjacente ou retreinar o modelo grande.

English

Computer-use agents provide a promising path toward general software automation because they can interact directly with arbitrary graphical user interfaces instead of relying on brittle, application-specific integrations. Despite recent advances in benchmark performance, strong computer-use agents remain expensive and slow in practice, since most systems invoke large multimodal models at nearly every interaction step. We argue that this uniform allocation of compute is fundamentally inefficient for long-horizon GUI tasks. Such trajectories are highly heterogeneous: many steps are routine and can be handled reliably by smaller, cheaper policies, while errors tend to concentrate at a relatively small number of high-risk moments. Across computer-use benchmarks, these failures repeatedly take two forms: progress stalls, where the agent loops, repeats ineffective actions, or fails to make meaningful progress, and silent semantic drift, where the agent continues taking locally plausible actions after already deviating from the user's true goal. To address this inefficiency, we propose an event-driven, step-level cascade for computer-use agents that runs a small policy by default and escalates to a stronger model only when lightweight learned monitors detect elevated risk. Our framework combines two complementary signals: a Stuck Monitor that detects degraded progress from recent reasoning-action history and triggers recovery, and a Milestone Monitor that identifies semantically meaningful checkpoints where sparse verification is most informative for catching drift. This design turns always-on frontier-model inference into adaptive, on-demand compute allocation over the course of an evolving interaction. The framework is modular and deployment-oriented: it can be layered on top of existing computer-use agents without changing the underlying agent architecture or retraining the large model.