OSWorld2.0: Бенчмаркинг агентов, использующих компьютер, на долгосрочных реальных задачах

Аннотация

Существующие бенчмарки использования компьютера не отражают реалистичность, сложность и долгосрочные требования реального применения компьютера, что ограничивает их способность выявлять недостатки передовых агентов. Мы представляем OSWorld 2.0 — бенчмарк, состоящий из 108 долгосрочных рабочих процессов использования компьютера, охватывающих повседневные и профессиональные задачи и разработанный для отражения сложных и труднорешаемых реальных явлений. Каждая задача представляет собой реалистичный сквозной рабочий процесс, медианное время выполнения которого пользователями-людьми составляет около 1,6 часа и который требует в среднем 318 вызовов инструментов при использовании Claude Opus 4.7 с максимальным обдумыванием, по сравнению с примерно 30 в OSWorld 1.0. OSWorld 2.0 нацелен на сложные явления, распространённые в реальных рабочих процессах, но недостаточно представленные в предыдущих бенчмарках, охватывая проблемы проектирования взаимодействия, такие как потоковое взаимодействие и динамические среды, а также проблемы шаблонов поведения агентов, такие как межресурсное рассуждение, вывод неявного состояния и визуально-пространственная точность. Задачи основаны на аутентичных входных артефактах и сверены с реалистичными профильными данными пользователей, содержащими состояние, а также включают отдельные отчёты по безопасности, проверяющие выполнение, чувствительное к безопасности. Согласно нашему основному бинарному показателю завершённости на 500 шагах, Claude Opus 4.8 с максимальным обдумыванием и пакетными вызовами инструментов показывает лучший результат, но всё же выполняет только 20,6% задач при частичном балле 54,8%; GPT-5.5 гораздо более эффективен по токенам, но выходит на плато около 13%. Эти результаты показывают, что текущие агенты всё ещё далеки от профессионального использования компьютера: вместо того чтобы спотыкаться об элементарное управление графическим интерфейсом или программирование, они теряют из виду ограничения, пропускают информацию, поступающую в середине задачи, угадывают, а не спрашивают пользователя, и пропускают верификацию, испытывая наибольшие трудности, когда задача зависит от скрытого состояния, которое они должны восстановить.

English

Existing computer-use benchmarks fail to capture the realism, complexity, and long-horizon demands of real-world computer use, limiting their ability to reveal the limitations of frontier agents. We introduce OSWorld 2.0, a benchmark of 108 long-horizon computer-use workflows across everyday and professional tasks, designed to capture complex and challenging real-world phenomena. Each task represents a realistic end-to-end workflow that takes human users a median of about 1.6 hours to complete and requires an average of 318 tool calls with Claude Opus 4.7 using maximum thinking, compared with about 30 in OSWorld 1.0. OSWorld 2.0 targets challenge phenomena that are common in real workflows yet underrepresented in prior benchmarks, spanning interaction-design challenges such as streaming interaction and dynamic environments, as well as agent-pattern challenges such as cross-source reasoning, implicit-state inference, and visual-spatial precision. Tasks are grounded in authentic input artifacts and cross-referenced against realistic stateful user profile data, and include separate safety reports auditing safety-sensitive execution. Under our primary binary-completion metric at 500 steps, Claude Opus 4.8 with maximum thinking and batched tool calls scores best but still completes only 20.6% of tasks at a 54.8% partial score; GPT-5.5 is far more token-efficient yet plateaus near 13%. These results show that current agents are still far from professional-level computer use: rather than stumbling on basic GUI control or coding, they lose track of constraints, miss information that arrives mid-task, guess rather than ask the user, and skip verification, struggling most when a task hinges on hidden state they must recover.