StateAct: 長期コンピュータ利用エージェントのための、ピクセルに先立つプログラム状態

要旨

コンピュータ利用エージェントは通常、知覚能力の強化によって改善される。すなわち、スクリーンショットの読み取りとクリックすべき位置の選択において、より優れたモデルを用いることで向上する。しかし、スクリーンショットは基盤となるプログラム状態（例えば、タスクデータを保持するファイル、アプリケーションバックエンド、DOMなど）の非可逆なレンダリングにすぎない。異なる状態が同一のピクセルを生成し得る一方で、コードはその状態を直接検査・変更できる。StateActは、この区別に基づいて構築されたコードファーストのマルチエージェントハーネスである。そのメインエージェントはコードを用いてプログラム状態と直接連携し、専用のGUIサブエージェントは、スクリーンショットとクリックによる操作を必要とする少数のサブゴール（108タスク中28タスク、メインエージェントのステップ数全体の1.1%）に対してのみ処理を担当する。プログラム状態への直接アクセスは検証も支援する。独立した終了ゲートが、保存された結果に対して構造的な失敗（例えば、出力の欠落、未保存、誤ったパスへの書き込みなど）を二重チェックする。数百ステップにわたって軌道を維持するため、メインエージェントはサブゴールを新たなサブエージェントに委譲し、自身のコンテキストを集中させる。OSWorld 2.0において、StateActはClaude Opus 4.8のバイナリ成功を20.6%から26.9%に、部分成功を54.8%から61.6%に引き上げ、同じモデルをスクリーンショットのみで駆動した場合と比較してタスクあたり約9分の1のコストを実現する。一方、GUIサブエージェントを持たないコードのみの変種は部分成功が45.9%にとどまり、スクリーンショットベースのベースライン（54.8%）を下回る。一般に、アクション、検証、および記憶を状態に基づかせること（我々が状態グラウンディングと呼ぶもの）は、主たるボトルネックを知覚から推論へと移行させる。すなわち、失敗はエージェントが見ているものよりも、考えているものに依存するのである。

English

Computer-use agents are usually improved by strengthening perception: better models for reading a screenshot and choosing where to click. Yet a screenshot is only a lossy rendering of the underlying program state, e.g., the files, application backends, and DOM that hold the task data. Different states can produce the same pixels, while code can inspect and modify that state directly. StateAct is a code-first, multi-agent harness built around this distinction. Its main agent works directly with program state by using code, while a dedicated GUI subagent handles screenshot-and-click interaction on the few subgoals that need it, just 28 of 108 tasks and 1.1% of main-agent steps. The same direct access to program state also supports verification: an independent finish gate double-checks the saved result for structural failures, e.g., output that is missing, unsaved, or written to the wrong path. To stay on track over hundreds of steps, the main agent hands subgoals to fresh subagents, keeping its own context focused. On OSWorld 2.0, StateAct lifts Claude Opus 4.8 from 20.6% to 26.9% on binary success, and from 54.8% to 61.6% on partial success, at ~ 9x lower cost per task than the same model driven by screenshots alone; a code-only variant with no GUI subagent reaches only 45.9% partial, below that screenshot-based baseline's 54.8%. In general, grounding action, verification, and memory in state, what we call state-grounding, shifts the main bottleneck from perception toward reasoning: failures depend more on what the agent thinks than on what it sees.