OSWorld2.0: 장기적 실제 작업에서의 컴퓨터 사용 에이전트 벤치마킹

초록

기존 컴퓨터 사용 벤치마크는 실제 컴퓨터 사용의 현실성, 복잡성 및 장기적 요구를 포착하지 못하여 최첨단 에이전트의 한계를 드러내는 능력을 제한합니다. 우리는 일상 및 전문 작업에 걸친 108개의 장기 컴퓨터 사용 워크플로우로 구성된 벤치마크인 OSWorld 2.0을 소개합니다. 이는 복잡하고 도전적인 실제 현상을 포착하도록 설계되었습니다. 각 작업은 인간 사용자가 완료하는 데 중간값 약 1.6시간이 소요되고, 최대 사고(maximum thinking)를 사용하는 Claude Opus 4.7에서 평균 318회의 도구 호출이 필요한 현실적인 종단간 워크플로우를 나타냅니다(OSWorld 1.0에서는 약 30회). OSWorld 2.0은 실제 워크플로우에서 흔하지만 이전 벤치마크에서는 과소 대표된 도전 현상을 대상으로 합니다. 여기에는 스트리밍 상호작용 및 동적 환경과 같은 상호작용 설계 도전 과제와, 교차 소스 추론, 암시적 상태 추론, 시각-공간 정밀도와 같은 에이전트 패턴 도전 과제가 포함됩니다. 작업은 실제 입력 인공물에 기반하며 현실적인 상태 유지 사용자 프로필 데이터와 상호 참조되며, 안전에 민감한 실행을 감사하는 별도의 안전 보고서를 포함합니다. 500단계에서의 주요 이진 완료 지표 하에서, 최대 사고 및 배치 도구 호출을 사용하는 Claude Opus 4.8이 가장 높은 점수를 기록했지만 여전히 20.6%의 작업만 완료하고 부분 점수는 54.8%입니다. GPT-5.5는 훨씬 더 토큰 효율적이지만 약 13%에서 정체됩니다. 이러한 결과는 현재 에이전트가 여전히 전문가 수준의 컴퓨터 사용에 크게 미치지 못함을 보여줍니다. 기본 GUI 제어나 코딩에서 어려움을 겪기보다는, 제약 조건을 놓치고, 작업 중간에 도착하는 정보를 놓치며, 사용자에게 묻지 않고 추측하고, 검증을 생략하며, 작업이 복구해야 할 숨겨진 상태에 달려 있을 때 가장 어려움을 겪습니다.

English

Existing computer-use benchmarks fail to capture the realism, complexity, and long-horizon demands of real-world computer use, limiting their ability to reveal the limitations of frontier agents. We introduce OSWorld 2.0, a benchmark of 108 long-horizon computer-use workflows across everyday and professional tasks, designed to capture complex and challenging real-world phenomena. Each task represents a realistic end-to-end workflow that takes human users a median of about 1.6 hours to complete and requires an average of 318 tool calls with Claude Opus 4.7 using maximum thinking, compared with about 30 in OSWorld 1.0. OSWorld 2.0 targets challenge phenomena that are common in real workflows yet underrepresented in prior benchmarks, spanning interaction-design challenges such as streaming interaction and dynamic environments, as well as agent-pattern challenges such as cross-source reasoning, implicit-state inference, and visual-spatial precision. Tasks are grounded in authentic input artifacts and cross-referenced against realistic stateful user profile data, and include separate safety reports auditing safety-sensitive execution. Under our primary binary-completion metric at 500 steps, Claude Opus 4.8 with maximum thinking and batched tool calls scores best but still completes only 20.6% of tasks at a 54.8% partial score; GPT-5.5 is far more token-efficient yet plateaus near 13%. These results show that current agents are still far from professional-level computer use: rather than stumbling on basic GUI control or coding, they lose track of constraints, miss information that arrives mid-task, guess rather than ask the user, and skip verification, struggling most when a task hinges on hidden state they must recover.