WeaveBench: Een langetermijn, praktijkgerichte benchmark voor computergebruikagenten met hybride interfaces

Samenvatting

Computergebruikagenten (CUA's) opereren steeds vaker in runtimes die visuele desktopbesturing, commandoregeluitvoering, codebewerking, browsers en externe hulpmiddelen combineren. Bestaande benchmarks evalueren deze interfaces echter vaak als afzonderlijke capaciteiten, waardoor orkestratie over meerdere interfaces in langdurige taken onderbelicht blijft. Daarom introduceren wij WeaveBench, een langetermijnbenchmark met hybride interfaces, bestaande uit 114 taken uit 8 realistische werkdomeinen, gebaseerd op echte gebruikersverzoeken en publiekelijk verifieerbare artefacten. Elke taak vereist dat agenten GUI-waarnemingen/-acties combineren met CLI/code-operaties binnen één traject. Wij evalueren deze taken op een echte Ubuntu-desktop in geïmplementeerde CLI-agentruntimes, uitgebreid met een minimale plugin voor desktopbesturing. Ook stellen wij een bijbehorende trajectoriebewuste beoordelaar voor die afleveringen, bestanden, schermafbeeldingen, logboeken en actiesporen inspecteert, terwijl shortcut-gedrag zoals gefabriceerd visueel bewijs of hard-coded meetgegevens wordt gedetecteerd. Over verschillende combinaties van grensverleggende modellen en runtimes heen bereikt de beste PassRate slechts 41,2%, wat aantoont dat de benchmark nog lang niet verzadigd is. De trajectoriebewuste beoordelaar onthult bovendien dat uitsluitend op uitkomsten gebaseerde beoordeling de prestaties van agenten aanzienlijk overschat. Al met al legt WeaveBench een kritiek gat bloot in de evaluatie van CUA's en biedt het een effectieve testomgeving om te meten of agenten GUI-, CLI- en code-operaties kunnen orkestreren bij langdurige realistische taken.

English

Computer-use agents (CUAs) increasingly operate in runtimes that combine visual desktop control, command-line execution, code editing, browsers, and external tools. Existing benchmarks, however, often evaluate these interfaces as separable capabilities, leaving long-horizon cross-interface orchestration under-tested. Thus, we introduce WeaveBench, a long-horizon hybrid-interface benchmark with 114 tasks across 8 real-world work domains, grounded in real user requests and publicly verifiable artifacts. Each task requires agents to combine GUI observations/actions with CLI/code operations within a single trajectory. We evaluate these tasks on a real Ubuntu desktop inside deployed CLI-agent runtimes, augmented with a minimal desktop-control plugin. We also propose a companion trajectory-aware judge that inspects deliverables, files, screenshots, logs, and action traces, while detecting shortcut behaviors such as fabricated visual evidence or hard-coded metrics. Across frontier model-runtime pairings, the best PassRate reaches only 41.2%, showing the benchmark remains far from saturated. The trajectory-aware judge further reveals that outcome-only grading substantially overestimates agent performance. Overall, WeaveBench exposes a critical gap in CUA evaluation and provides an effective testbed to measure whether agents can orchestrate GUI, CLI, and code operations across long-horizon real-world tasks.