Workspace-Bench 1.0: Benchmarking von KI-Agenten bei Arbeitsbereichsaufgaben mit umfangreichen Dateiabhängigkeiten
Workspace-Bench 1.0: Benchmarking AI Agents on Workspace Tasks with Large-Scale File Dependencies
May 5, 2026
Autoren: Zirui Tang, Xuanhe Zhou, Yumou Liu, Linchun Li, Weizheng Wang, Hongzhang Huang, Jun Zhou, Jiachen Song, Shaoli Yu, Jinqi Wang, Zihang Zhou, Hongyi Zhou, Yuting Lv, Jinyang Li, Jiashuo Liu, Ruoyu Chen, Chunwei Liu, GuoLiang Li, Jihua Kang, Fan Wu
cs.AI
Zusammenfassung
Workspace-Learning erfordert, dass KI-Agenten explizite und implizite Abhängigkeiten zwischen heterogenen Dateien in einem Arbeitsbereich eines Mitarbeiters identifizieren, darüber schlussfolgern, sie nutzen und aktualisieren, um sowohl Routine- als auch anspruchsvolle Aufgaben effektiv zu erledigen. Trotz ihrer Bedeutung bewerten bestehende Benchmarks Agenten größtenteils anhand vordefinierter oder synthetisierter Dateien mit begrenzten realen Abhängigkeiten, wodurch die Bewertung auf Workspace-Ebene unzureichend erforscht bleibt. Zu diesem Zweck führen wir Workspace-Bench ein, einen Benchmark zur Bewertung von KI-Agenten für Workspace Learning mit umfangreichen Dateiabhängigkeiten. Wir konstruieren realistische Arbeitsbereiche mit 5 Mitarbeiterprofilen, 74 Dateitypen, 20.476 Dateien (bis zu 20 GB) und kuratieren 388 Aufgaben, jede mit ihrem eigenen Dateiabhängigkeitsgraphen, die über 7.399 Bewertungskriterien hinweg evaluiert werden und abteilungsübergreifendes Abrufen, kontextuelles Schlussfolgern und adaptive Entscheidungsfindung erfordern. Wir stellen außerdem Workspace-Bench-Lite bereit, eine Teilmenge von 100 Aufgaben, die die Benchmark-Verteilung beibehält, während die Evaluierungskosten um etwa 70 % reduziert werden. Wir evaluieren 4 beliebte Agenten-Frameworks und 7 Foundation-Modelle. Die experimentellen Ergebnisse zeigen, dass aktuelle Agenten noch weit von zuverlässigem Workspace-Learning entfernt sind, wobei der beste nur 68,7 % erreicht, deutlich unter dem menschlichen Ergebnis von 80,7 %, und die durchschnittliche Leistung über alle Agenten hinweg nur 47,4 % beträgt.
English
Workspace learning requires AI agents to identify, reason over, exploit, and update explicit and implicit dependencies among heterogeneous files in a worker's workspace, enabling them to complete both routine and advanced tasks effectively. Despite its importance, existing relevant benchmarks largely evaluate agents on pre-specified or synthesized files with limited real-world dependencies, leaving workspace-level evaluation underexplored. To this end, we introduce Workspace-Bench, a benchmark for evaluating AI agents on Workspace Learning invOlving Large-Scale File Dependencies. We construct realistic workspaces with 5 worker profiles, 74 file types, 20,476 files (up to 20GB) and curate 388 tasks, each with its own file dependency graph, evaluated across 7,399 total rubrics that require cross-file retrieval, contextual reasoning, and adaptive decision-making. We further provide Workspace-Bench-Lite, a 100-task subset that preserves the benchmark distribution while reducing evaluation costs by about 70%. We evaluate 4 popular agent harnesses and 7 foundation models. Experimental results show that current agents remain far from reliable workspace learning, where the best reaches only 68.7%, substantially below the human result of 80.7%, and the average performance across agents is only 47.4%.