Агент S2: Композиционная структура "Универсал-Специалист" для агентов использования компьютера

Agent S2: A Compositional Generalist-Specialist Framework for Computer Use Agents

April 1, 2025

Авторы: Saaket Agashe, Kyle Wong, Vincent Tu, Jiachen Yang, Ang Li, Xin Eric Wang

cs.AI

Аннотация

Компьютерные агенты автоматизируют цифровые задачи, напрямую взаимодействуя с графическими пользовательскими интерфейсами (GUI) на компьютерах и мобильных устройствах, что открывает значительный потенциал для повышения производительности человека за счет выполнения широкого спектра пользовательских запросов. Однако современные агенты сталкиваются с серьезными проблемами: неточное определение элементов GUI, сложности с планированием задач на длительный горизонт и узкие места в производительности из-за использования единых универсальных моделей для разнообразных когнитивных задач. В связи с этим мы представляем Agent S2 — новый композиционный фреймворк, который распределяет когнитивные обязанности между различными универсальными и специализированными моделями. Мы предлагаем инновационную технику Mixture-of-Grounding для точного определения местоположения элементов GUI и вводим Proactive Hierarchical Planning, динамически уточняющий планы действий на нескольких временных масштабах в ответ на изменяющиеся наблюдения. Оценки показывают, что Agent S2 устанавливает новый уровень производительности (SOTA) на трех известных бенчмарках для компьютерных задач. В частности, Agent S2 демонстрирует относительные улучшения на 18,9% и 32,7% по сравнению с ведущими базовыми агентами, такими как Claude Computer Use и UI-TARS, на 15-шаговой и 50-шаговой оценке OSWorld. Более того, Agent S2 эффективно обобщается на другие операционные системы и приложения, превосходя предыдущие лучшие методы на 52,8% на WindowsAgentArena и на 16,52% на AndroidWorld. Код доступен по адресу https://github.com/simular-ai/Agent-S.

English

Computer use agents automate digital tasks by directly interacting with graphical user interfaces (GUIs) on computers and mobile devices, offering significant potential to enhance human productivity by completing an open-ended space of user queries. However, current agents face significant challenges: imprecise grounding of GUI elements, difficulties with long-horizon task planning, and performance bottlenecks from relying on single generalist models for diverse cognitive tasks. To this end, we introduce Agent S2, a novel compositional framework that delegates cognitive responsibilities across various generalist and specialist models. We propose a novel Mixture-of-Grounding technique to achieve precise GUI localization and introduce Proactive Hierarchical Planning, dynamically refining action plans at multiple temporal scales in response to evolving observations. Evaluations demonstrate that Agent S2 establishes new state-of-the-art (SOTA) performance on three prominent computer use benchmarks. Specifically, Agent S2 achieves 18.9% and 32.7% relative improvements over leading baseline agents such as Claude Computer Use and UI-TARS on the OSWorld 15-step and 50-step evaluation. Moreover, Agent S2 generalizes effectively to other operating systems and applications, surpassing previous best methods by 52.8% on WindowsAgentArena and by 16.52% on AndroidWorld relatively. Code available at https://github.com/simular-ai/Agent-S.