Agente S2: Un Marco de Trabajo Compositivo Generalista-Especialista para Agentes de Uso Informático

Agent S2: A Compositional Generalist-Specialist Framework for Computer Use Agents

April 1, 2025

Autores: Saaket Agashe, Kyle Wong, Vincent Tu, Jiachen Yang, Ang Li, Xin Eric Wang

cs.AI

Resumen

Los agentes de uso informático automatizan tareas digitales al interactuar directamente con interfaces gráficas de usuario (GUIs) en computadoras y dispositivos móviles, ofreciendo un potencial significativo para mejorar la productividad humana al completar un espacio abierto de consultas de usuarios. Sin embargo, los agentes actuales enfrentan desafíos importantes: la localización imprecisa de elementos de la GUI, dificultades en la planificación de tareas de largo plazo y cuellos de botella en el rendimiento debido a la dependencia de modelos generalistas únicos para diversas tareas cognitivas. Para abordar esto, presentamos Agent S2, un marco composicional novedoso que delega responsabilidades cognitivas en varios modelos generalistas y especializados. Proponemos una técnica novedosa de Mezcla-de-Localización para lograr una localización precisa de la GUI e introducimos Planificación Jerárquica Proactiva, que refina dinámicamente los planes de acción en múltiples escalas temporales en respuesta a observaciones en evolución. Las evaluaciones demuestran que Agent S2 establece un nuevo estado del arte (SOTA) en tres destacados puntos de referencia de uso informático. Específicamente, Agent S2 logra mejoras relativas del 18.9% y 32.7% sobre agentes base líderes como Claude Computer Use y UI-TARS en las evaluaciones de 15 pasos y 50 pasos de OSWorld. Además, Agent S2 generaliza efectivamente a otros sistemas operativos y aplicaciones, superando los mejores métodos anteriores en un 52.8% en WindowsAgentArena y en un 16.52% en AndroidWorld relativamente. El código está disponible en https://github.com/simular-ai/Agent-S.

English

Computer use agents automate digital tasks by directly interacting with graphical user interfaces (GUIs) on computers and mobile devices, offering significant potential to enhance human productivity by completing an open-ended space of user queries. However, current agents face significant challenges: imprecise grounding of GUI elements, difficulties with long-horizon task planning, and performance bottlenecks from relying on single generalist models for diverse cognitive tasks. To this end, we introduce Agent S2, a novel compositional framework that delegates cognitive responsibilities across various generalist and specialist models. We propose a novel Mixture-of-Grounding technique to achieve precise GUI localization and introduce Proactive Hierarchical Planning, dynamically refining action plans at multiple temporal scales in response to evolving observations. Evaluations demonstrate that Agent S2 establishes new state-of-the-art (SOTA) performance on three prominent computer use benchmarks. Specifically, Agent S2 achieves 18.9% and 32.7% relative improvements over leading baseline agents such as Claude Computer Use and UI-TARS on the OSWorld 15-step and 50-step evaluation. Moreover, Agent S2 generalizes effectively to other operating systems and applications, surpassing previous best methods by 52.8% on WindowsAgentArena and by 16.52% on AndroidWorld relatively. Code available at https://github.com/simular-ai/Agent-S.