Workspace-Bench 1.0 : Évaluation comparative des agents IA sur des tâches d'espace de travail avec des dépendances de fichiers à grande échelle
Workspace-Bench 1.0: Benchmarking AI Agents on Workspace Tasks with Large-Scale File Dependencies
May 5, 2026
Auteurs: Zirui Tang, Xuanhe Zhou, Yumou Liu, Linchun Li, Weizheng Wang, Hongzhang Huang, Jun Zhou, Jiachen Song, Shaoli Yu, Jinqi Wang, Zihang Zhou, Hongyi Zhou, Yuting Lv, Jinyang Li, Jiashuo Liu, Ruoyu Chen, Chunwei Liu, GuoLiang Li, Jihua Kang, Fan Wu
cs.AI
Résumé
L'apprentissage en espace de travail nécessite que les agents IA identifient, raisonnent, exploitent et mettent à jour les dépendances explicites et implicites entre des fichiers hétérogènes dans l'espace de travail d'un employé, leur permettant ainsi d'accomplir efficacement des tâches tant routinières qu'avancées. Malgré son importance, les benchmarks existants évaluent largement les agents sur des fichiers pré-spécifiés ou synthétisés avec des dépendances réalistes limitées, laissant l'évaluation au niveau de l'espace de travail sous-explorée. Pour pallier cela, nous présentons Workspace-Bench, un benchmark pour évaluer les agents IA sur l'Apprentissage en Espace de travail impliquant des Dépendances Fichier à Grande Échelle. Nous construisons des espaces de travail réalistes avec 5 profils d'employés, 74 types de fichiers, 20 476 fichiers (jusqu'à 20 Go) et sélectionnons 388 tâches, chacune avec son propre graphe de dépendances de fichiers, évaluées selon 7 399 critères au total qui nécessitent une recherche inter-fichiers, un raisonnement contextuel et une prise de décision adaptative. Nous fournissons également Workspace-Bench-Lite, un sous-ensemble de 100 tâches qui préserve la distribution du benchmark tout en réduisant les coûts d'évaluation d'environ 70 %. Nous évaluons 4 infrastructures d'agents populaires et 7 modèles de base. Les résultats expérimentaux montrent que les agents actuels sont encore loin d'une maîtrise fiable de l'apprentissage en espace de travail, le meilleur n'atteignant que 68,7 %, soit nettement en dessous du résultat humain de 80,7 %, et la performance moyenne des agents n'étant que de 47,4 %.
English
Workspace learning requires AI agents to identify, reason over, exploit, and update explicit and implicit dependencies among heterogeneous files in a worker's workspace, enabling them to complete both routine and advanced tasks effectively. Despite its importance, existing relevant benchmarks largely evaluate agents on pre-specified or synthesized files with limited real-world dependencies, leaving workspace-level evaluation underexplored. To this end, we introduce Workspace-Bench, a benchmark for evaluating AI agents on Workspace Learning invOlving Large-Scale File Dependencies. We construct realistic workspaces with 5 worker profiles, 74 file types, 20,476 files (up to 20GB) and curate 388 tasks, each with its own file dependency graph, evaluated across 7,399 total rubrics that require cross-file retrieval, contextual reasoning, and adaptive decision-making. We further provide Workspace-Bench-Lite, a 100-task subset that preserves the benchmark distribution while reducing evaluation costs by about 70%. We evaluate 4 popular agent harnesses and 7 foundation models. Experimental results show that current agents remain far from reliable workspace learning, where the best reaches only 68.7%, substantially below the human result of 80.7%, and the average performance across agents is only 47.4%.