Agent S2 : Un cadre compositionnel généraliste-spécialiste pour les agents d'utilisation informatique

Agent S2: A Compositional Generalist-Specialist Framework for Computer Use Agents

April 1, 2025

Auteurs: Saaket Agashe, Kyle Wong, Vincent Tu, Jiachen Yang, Ang Li, Xin Eric Wang

cs.AI

Résumé

Les agents d'utilisation informatique automatisent les tâches numériques en interagissant directement avec les interfaces graphiques (GUIs) sur les ordinateurs et les appareils mobiles, offrant un potentiel significatif pour améliorer la productivité humaine en traitant un espace ouvert de requêtes utilisateur. Cependant, les agents actuels rencontrent des défis majeurs : un ancrage imprécis des éléments d'interface graphique, des difficultés dans la planification de tâches à long terme, et des goulots d'étranglement de performance dus à l'utilisation de modèles généralistes uniques pour des tâches cognitives diverses. Pour répondre à ces enjeux, nous introduisons Agent S2, un cadre compositionnel novateur qui répartit les responsabilités cognitives entre divers modèles généralistes et spécialisés. Nous proposons une nouvelle technique de Mélange-d'Ancrage pour atteindre une localisation précise des éléments d'interface graphique et introduisons la Planification Hiérarchique Proactive, qui affine dynamiquement les plans d'action à plusieurs échelles temporelles en réponse aux observations évolutives. Les évaluations démontrent qu'Agent S2 établit de nouvelles performances de pointe (SOTA) sur trois benchmarks majeurs d'utilisation informatique. Plus précisément, Agent S2 réalise des améliorations relatives de 18,9 % et 32,7 % par rapport aux agents de référence tels que Claude Computer Use et UI-TARS sur les évaluations OSWorld à 15 et 50 étapes. De plus, Agent S2 généralise efficacement à d'autres systèmes d'exploitation et applications, surpassant les meilleures méthodes précédentes de 52,8 % sur WindowsAgentArena et de 16,52 % sur AndroidWorld. Le code est disponible à l'adresse https://github.com/simular-ai/Agent-S.

English

Computer use agents automate digital tasks by directly interacting with graphical user interfaces (GUIs) on computers and mobile devices, offering significant potential to enhance human productivity by completing an open-ended space of user queries. However, current agents face significant challenges: imprecise grounding of GUI elements, difficulties with long-horizon task planning, and performance bottlenecks from relying on single generalist models for diverse cognitive tasks. To this end, we introduce Agent S2, a novel compositional framework that delegates cognitive responsibilities across various generalist and specialist models. We propose a novel Mixture-of-Grounding technique to achieve precise GUI localization and introduce Proactive Hierarchical Planning, dynamically refining action plans at multiple temporal scales in response to evolving observations. Evaluations demonstrate that Agent S2 establishes new state-of-the-art (SOTA) performance on three prominent computer use benchmarks. Specifically, Agent S2 achieves 18.9% and 32.7% relative improvements over leading baseline agents such as Claude Computer Use and UI-TARS on the OSWorld 15-step and 50-step evaluation. Moreover, Agent S2 generalizes effectively to other operating systems and applications, surpassing previous best methods by 52.8% on WindowsAgentArena and by 16.52% on AndroidWorld relatively. Code available at https://github.com/simular-ai/Agent-S.