Agente S2: Uma Estrutura Composicional de Generalista-Especialista para Agentes de Uso de Computador

Agent S2: A Compositional Generalist-Specialist Framework for Computer Use Agents

April 1, 2025

Autores: Saaket Agashe, Kyle Wong, Vincent Tu, Jiachen Yang, Ang Li, Xin Eric Wang

cs.AI

Resumo

Agentes de uso de computador automatizam tarefas digitais interagindo diretamente com interfaces gráficas de usuário (GUIs) em computadores e dispositivos móveis, oferecendo um potencial significativo para aumentar a produtividade humana ao completar um espaço aberto de consultas do usuário. No entanto, os agentes atuais enfrentam desafios consideráveis: imprecisão na localização de elementos da GUI, dificuldades com planejamento de tarefas de longo prazo e gargalos de desempenho devido à dependência de modelos generalistas únicos para diversas tarefas cognitivas. Para isso, apresentamos o Agente S2, uma estrutura composicional inovadora que delega responsabilidades cognitivas entre vários modelos generalistas e especializados. Propomos uma nova técnica de Mistura-de-Localização para alcançar uma localização precisa da GUI e introduzimos o Planejamento Hierárquico Proativo, que refina dinamicamente planos de ação em múltiplas escalas temporais em resposta a observações em evolução. As avaliações demonstram que o Agente S2 estabelece um novo estado da arte (SOTA) em três benchmarks proeminentes de uso de computador. Especificamente, o Agente S2 alcança melhorias relativas de 18,9% e 32,7% sobre agentes de linha de base líderes, como o Claude Computer Use e o UI-TARS, nas avaliações de 15 e 50 etapas do OSWorld. Além disso, o Agente S2 generaliza efetivamente para outros sistemas operacionais e aplicativos, superando os melhores métodos anteriores em 52,8% no WindowsAgentArena e em 16,52% no AndroidWorld. O código está disponível em https://github.com/simular-ai/Agent-S.

English

Computer use agents automate digital tasks by directly interacting with graphical user interfaces (GUIs) on computers and mobile devices, offering significant potential to enhance human productivity by completing an open-ended space of user queries. However, current agents face significant challenges: imprecise grounding of GUI elements, difficulties with long-horizon task planning, and performance bottlenecks from relying on single generalist models for diverse cognitive tasks. To this end, we introduce Agent S2, a novel compositional framework that delegates cognitive responsibilities across various generalist and specialist models. We propose a novel Mixture-of-Grounding technique to achieve precise GUI localization and introduce Proactive Hierarchical Planning, dynamically refining action plans at multiple temporal scales in response to evolving observations. Evaluations demonstrate that Agent S2 establishes new state-of-the-art (SOTA) performance on three prominent computer use benchmarks. Specifically, Agent S2 achieves 18.9% and 32.7% relative improvements over leading baseline agents such as Claude Computer Use and UI-TARS on the OSWorld 15-step and 50-step evaluation. Moreover, Agent S2 generalizes effectively to other operating systems and applications, surpassing previous best methods by 52.8% on WindowsAgentArena and by 16.52% on AndroidWorld relatively. Code available at https://github.com/simular-ai/Agent-S.