Workspace-Bench 1.0: Het benchmarken van AI-agenten op werkruimtetaken met grootschalige bestandsafhankelijkheden
Workspace-Bench 1.0: Benchmarking AI Agents on Workspace Tasks with Large-Scale File Dependencies
May 5, 2026
Auteurs: Zirui Tang, Xuanhe Zhou, Yumou Liu, Linchun Li, Weizheng Wang, Hongzhang Huang, Jun Zhou, Jiachen Song, Shaoli Yu, Jinqi Wang, Zihang Zhou, Hongyi Zhou, Yuting Lv, Jinyang Li, Jiashuo Liu, Ruoyu Chen, Chunwei Liu, GuoLiang Li, Jihua Kang, Fan Wu
cs.AI
Samenvatting
Workspace learning vereist dat AI-agenten expliciete en impliciete afhankelijkheden tussen heterogene bestanden in de werkruimte van een werker kunnen identificeren, overdenken, benutten en bijwerken, zodat zij zowel routinematige als geavanceerde taken effectief kunnen voltooien. Ondanks het belang ervan, evalueren bestaande benchmarks agenten voornamelijk op vooraf gespecificeerde of gesynthetiseerde bestanden met beperkte real-world afhankelijkheden, waardoor evaluatie op workspace-niveau onderbelicht blijft. Daarom introduceren wij Workspace-Bench, een benchmark voor het evalueren van AI-agenten op Workspace Learning met grootschalige bestandsafhankelijkheden. Wij construeren realistische werkruimten met 5 werkprofielen, 74 bestandstypen, 20.476 bestanden (tot 20 GB) en stellen 388 taken samen, elk met een eigen afhankelijkheidsgraaf van bestanden, geëvalueerd aan de hand van 7.399 beoordelingscriteria die cross-file retrieval, contextueel redeneren en adaptieve besluitvorming vereisen. Verder bieden wij Workspace-Bench-Lite, een subset van 100 taken die de verdeling van de benchmark behoudt, maar de evaluatiekosten met ongeveer 70% verlaagt. Wij evalueren 4 populaire agent-harnesses en 7 foundation-modellen. Experimentele resultaten tonen aan dat huidige agenten nog ver verwijderd zijn van betrouwbaar workspace learning, waarbij de beste slechts 68,7% haalt, aanzienlijk lager dan het menselijke resultaat van 80,7%, en de gemiddelde prestaties van alle agenten slechts 47,4% bedraagt.
English
Workspace learning requires AI agents to identify, reason over, exploit, and update explicit and implicit dependencies among heterogeneous files in a worker's workspace, enabling them to complete both routine and advanced tasks effectively. Despite its importance, existing relevant benchmarks largely evaluate agents on pre-specified or synthesized files with limited real-world dependencies, leaving workspace-level evaluation underexplored. To this end, we introduce Workspace-Bench, a benchmark for evaluating AI agents on Workspace Learning invOlving Large-Scale File Dependencies. We construct realistic workspaces with 5 worker profiles, 74 file types, 20,476 files (up to 20GB) and curate 388 tasks, each with its own file dependency graph, evaluated across 7,399 total rubrics that require cross-file retrieval, contextual reasoning, and adaptive decision-making. We further provide Workspace-Bench-Lite, a 100-task subset that preserves the benchmark distribution while reducing evaluation costs by about 70%. We evaluate 4 popular agent harnesses and 7 foundation models. Experimental results show that current agents remain far from reliable workspace learning, where the best reaches only 68.7%, substantially below the human result of 80.7%, and the average performance across agents is only 47.4%.