WeaveBench: ハイブリッドインターフェースを備えたコンピュータ操作エージェントのための長期・実世界ベンチマーク

要旨

コンピュータ利用エージェント（CUA）は、ビジュアルデスクトップ操作、コマンドライン実行、コード編集、ブラウザ、外部ツールを組み合わせた実行環境でますます動作するようになっている。しかし、既存のベンチマークは、これらのインターフェースを分離可能な能力として評価することが多く、長期的なクロスインターフェースの連携が十分にテストされていない。そこで我々は、WeaveBench（ウィーブベンチ）を導入する。これは、8つの実世界の作業領域にわたる114のタスクからなる、長期的なハイブリッドインターフェースベンチマークであり、実際のユーザーリクエストと公開可能な検証成果物に基づいている。各タスクは、エージェントが単一の軌跡内でGUIの観察・操作とCLI/コード操作を組み合わせることを要求する。我々は、これらのタスクを、最小限のデスクトップ制御プラグインで拡張された、デプロイ済みCLIエージェント実行環境内の実際のUbuntuデスクトップ上で評価する。また、成果物、ファイル、スクリーンショット、ログ、アクショントレースを検査し、捏造されたビジュアルエビデンスやハードコードされたメトリクスといった近道行動を検出する、軌跡認識型の評価器を提案する。最先端のモデルとランタイムの組み合わせ全体で、最高のPassRateはわずか41.2%に達するに過ぎず、このベンチマークが飽和状態からは程遠いことを示している。軌跡認識型評価器はさらに、結果のみの評価ではエージェントの性能を大幅に過大評価することを明らかにしている。全体として、WeaveBenchはCUA評価における重大なギャップを露呈し、エージェントが長期的な実世界タスクでGUI、CLI、コード操作を連携できるかどうかを測定するための効果的なテストベッドを提供する。

English

Computer-use agents (CUAs) increasingly operate in runtimes that combine visual desktop control, command-line execution, code editing, browsers, and external tools. Existing benchmarks, however, often evaluate these interfaces as separable capabilities, leaving long-horizon cross-interface orchestration under-tested. Thus, we introduce WeaveBench, a long-horizon hybrid-interface benchmark with 114 tasks across 8 real-world work domains, grounded in real user requests and publicly verifiable artifacts. Each task requires agents to combine GUI observations/actions with CLI/code operations within a single trajectory. We evaluate these tasks on a real Ubuntu desktop inside deployed CLI-agent runtimes, augmented with a minimal desktop-control plugin. We also propose a companion trajectory-aware judge that inspects deliverables, files, screenshots, logs, and action traces, while detecting shortcut behaviors such as fabricated visual evidence or hard-coded metrics. Across frontier model-runtime pairings, the best PassRate reaches only 41.2%, showing the benchmark remains far from saturated. The trajectory-aware judge further reveals that outcome-only grading substantially overestimates agent performance. Overall, WeaveBench exposes a critical gap in CUA evaluation and provides an effective testbed to measure whether agents can orchestrate GUI, CLI, and code operations across long-horizon real-world tasks.