WeaveBench: долгосрочный реальный бенчмарк для агентов, использующих компьютер, с гибридными интерфейсами

Аннотация

Агенты, использующие компьютер (CUAs), все чаще работают в средах выполнения, сочетающих визуальное управление рабочим столом, выполнение командной строки, редактирование кода, браузеры и внешние инструменты. Однако существующие бенчмарки зачастую оценивают эти интерфейсы как раздельные возможности, оставляя долгосрочную оркестрацию между интерфейсами недостаточно протестированной. В связи с этим мы представляем WeaveBench — бенчмарк с гибридными интерфейсами и длинным горизонтом планирования, включающий 114 задач из 8 реальных рабочих доменов, основанных на реальных запросах пользователей и публично проверяемых артефактах. Каждая задача требует от агентов комбинировать наблюдения/действия с графическим интерфейсом (GUI) с операциями командной строки (CLI) или кода в рамках единой траектории. Мы оцениваем эти задачи на реальном рабочем столе Ubuntu в развернутых средах выполнения CLI-агентов, дополненных минимальным плагином управления рабочим столом. Также мы предлагаем сопутствующего судью, учитывающего траекторию; он проверяет результаты, файлы, скриншоты, журналы и следы действий, выявляя упрощенные поведения, такие как поддельные визуальные свидетельства или жестко заданные метрики. Среди пар передовых моделей и сред выполнения лучшая доля успешных прохождений (PassRate) достигает лишь 41,2%, что свидетельствует о том, что бенчмарк далек от насыщения. Оценка только по итоговым результатам, как показывает судья, учитывающий траекторию, существенно завышает производительность агентов. В целом WeaveBench выявляет критический пробел в оценке CUA и предоставляет эффективный испытательный стенд для проверки способности агентов оркестровать операции с GUI, CLI и кодом в долгосрочных реальных задачах.

English

Computer-use agents (CUAs) increasingly operate in runtimes that combine visual desktop control, command-line execution, code editing, browsers, and external tools. Existing benchmarks, however, often evaluate these interfaces as separable capabilities, leaving long-horizon cross-interface orchestration under-tested. Thus, we introduce WeaveBench, a long-horizon hybrid-interface benchmark with 114 tasks across 8 real-world work domains, grounded in real user requests and publicly verifiable artifacts. Each task requires agents to combine GUI observations/actions with CLI/code operations within a single trajectory. We evaluate these tasks on a real Ubuntu desktop inside deployed CLI-agent runtimes, augmented with a minimal desktop-control plugin. We also propose a companion trajectory-aware judge that inspects deliverables, files, screenshots, logs, and action traces, while detecting shortcut behaviors such as fabricated visual evidence or hard-coded metrics. Across frontier model-runtime pairings, the best PassRate reaches only 41.2%, showing the benchmark remains far from saturated. The trajectory-aware judge further reveals that outcome-only grading substantially overestimates agent performance. Overall, WeaveBench exposes a critical gap in CUA evaluation and provides an effective testbed to measure whether agents can orchestrate GUI, CLI, and code operations across long-horizon real-world tasks.