StateAct: 장기적 컴퓨터 사용 에이전트를 위한 픽셀 이전의 프로그램 상태

초록

컴퓨터 사용 에이전트는 일반적으로 지각 능력(perception)을 강화함으로써 개선된다. 즉, 스크린샷을 더 잘 읽고 클릭할 위치를 선택하는 더 나은 모델을 사용하는 것이다. 그러나 스크린샷은 기본 프로그램 상태(예: 작업 데이터를 보유하는 파일, 애플리케이션 백엔드, DOM)의 손실 렌더링에 불과하다. 동일한 픽셀을 생성할 수 있는 서로 다른 상태가 존재하는 반면, 코드는 해당 상태를 직접 검사하고 수정할 수 있다. StateAct는 이러한 구별을 기반으로 구축된 코드 우선(code-first) 멀티 에이전트 하네스(harness)이다. 주 에이전트는 코드를 사용하여 프로그램 상태와 직접 작업하는 반면, 전용 GUI 하위 에이전트는 이를 필요로 하는 소수의 하위 목표(총 108개 작업 중 28개, 주 에이전트 단계의 1.1%)에 대해 스크린샷 및 클릭 상호작용을 처리한다. 프로그램 상태에 대한 동일한 직접 접근은 검증(verification)도 지원한다. 독립적인 완료 게이트(finish gate)는 저장된 결과에서 누락, 미저장, 잘못된 경로에 기록과 같은 구조적 실패를 재확인한다. 수백 단계에 걸쳐 궤도를 유지하기 위해 주 에이전트는 하위 목표를 새로운 하위 에이전트에 전달하여 자체 컨텍스트를 집중된 상태로 유지한다. OSWorld 2.0에서 StateAct는 Claude Opus 4.8의 이진 성공률을 20.6%에서 26.9%로, 부분 성공률을 54.8%에서 61.6%로 끌어올리며, 동일 모델을 스크린샷만으로 구동했을 때보다 작업당 약 9배 낮은 비용을 달성한다. GUI 하위 에이전트가 없는 코드 전용 변형은 부분 성공률 45.9%에 그쳐, 스크린샷 기반 기준선의 54.8%보다 낮다. 일반적으로 행동, 검증, 기억을 상태에 기반하는 것, 즉 우리가 상태 기반 근거화(state-grounding)라고 부르는 것은 주요 병목 현상을 지각에서 추론으로 이동시킨다. 즉, 실패는 에이전트가 보는 것보다 무엇을 생각하는지에 더 의존한다.

English

Computer-use agents are usually improved by strengthening perception: better models for reading a screenshot and choosing where to click. Yet a screenshot is only a lossy rendering of the underlying program state, e.g., the files, application backends, and DOM that hold the task data. Different states can produce the same pixels, while code can inspect and modify that state directly. StateAct is a code-first, multi-agent harness built around this distinction. Its main agent works directly with program state by using code, while a dedicated GUI subagent handles screenshot-and-click interaction on the few subgoals that need it, just 28 of 108 tasks and 1.1% of main-agent steps. The same direct access to program state also supports verification: an independent finish gate double-checks the saved result for structural failures, e.g., output that is missing, unsaved, or written to the wrong path. To stay on track over hundreds of steps, the main agent hands subgoals to fresh subagents, keeping its own context focused. On OSWorld 2.0, StateAct lifts Claude Opus 4.8 from 20.6% to 26.9% on binary success, and from 54.8% to 61.6% on partial success, at ~ 9x lower cost per task than the same model driven by screenshots alone; a code-only variant with no GUI subagent reaches only 45.9% partial, below that screenshot-based baseline's 54.8%. In general, grounding action, verification, and memory in state, what we call state-grounding, shifts the main bottleneck from perception toward reasoning: failures depend more on what the agent thinks than on what it sees.