エージェントS2: コンピュータ利用エージェントのための構成可能なジェネラリスト-スペシャリストフレームワーク

Agent S2: A Compositional Generalist-Specialist Framework for Computer Use Agents

April 1, 2025

著者: Saaket Agashe, Kyle Wong, Vincent Tu, Jiachen Yang, Ang Li, Xin Eric Wang

cs.AI

要旨

コンピュータ利用エージェントは、コンピュータやモバイルデバイスのグラフィカルユーザーインターフェース（GUI）と直接対話することでデジタルタスクを自動化し、多様なユーザークエリを処理することで人間の生産性を向上させる大きな可能性を秘めています。しかし、現在のエージェントはいくつかの重要な課題に直面しています。GUI要素の不正確なグラウンディング、長期的なタスク計画の難しさ、多様な認知タスクに対して単一の汎用モデルに依存することによるパフォーマンスのボトルネックなどです。これに対処するため、我々はAgent S2を紹介します。これは、様々な汎用モデルと専門モデルに認知責任を委譲する新しい構成フレームワークです。我々は、正確なGUIローカライゼーションを実現するための新しいMixture-of-Grounding技術を提案し、進化する観察に応じて複数の時間スケールでアクションプランを動的に洗練するProactive Hierarchical Planningを導入します。評価の結果、Agent S2は3つの主要なコンピュータ利用ベンチマークで新たな最先端（SOTA）性能を確立しました。具体的には、Agent S2はOSWorldの15ステップおよび50ステップ評価において、Claude Computer UseやUI-TARSなどの主要なベースラインエージェントに対して18.9%および32.7%の相対的な改善を達成しました。さらに、Agent S2は他のオペレーティングシステムやアプリケーションにも効果的に一般化し、WindowsAgentArenaでは以前の最良の方法を52.8%、AndroidWorldでは16.52%上回りました。コードはhttps://github.com/simular-ai/Agent-Sで公開されています。

English

Computer use agents automate digital tasks by directly interacting with graphical user interfaces (GUIs) on computers and mobile devices, offering significant potential to enhance human productivity by completing an open-ended space of user queries. However, current agents face significant challenges: imprecise grounding of GUI elements, difficulties with long-horizon task planning, and performance bottlenecks from relying on single generalist models for diverse cognitive tasks. To this end, we introduce Agent S2, a novel compositional framework that delegates cognitive responsibilities across various generalist and specialist models. We propose a novel Mixture-of-Grounding technique to achieve precise GUI localization and introduce Proactive Hierarchical Planning, dynamically refining action plans at multiple temporal scales in response to evolving observations. Evaluations demonstrate that Agent S2 establishes new state-of-the-art (SOTA) performance on three prominent computer use benchmarks. Specifically, Agent S2 achieves 18.9% and 32.7% relative improvements over leading baseline agents such as Claude Computer Use and UI-TARS on the OSWorld 15-step and 50-step evaluation. Moreover, Agent S2 generalizes effectively to other operating systems and applications, surpassing previous best methods by 52.8% on WindowsAgentArena and by 16.52% on AndroidWorld relatively. Code available at https://github.com/simular-ai/Agent-S.