EnterpriseClawBench: Benchmarken van agenten op basis van echte werkpleksessies

Samenvatting

Ondernemingsagenten opereren steeds vaker binnen werkruimtes: ze lezen heterogene bestanden, roepen hulpmiddelen aan en leveren zakelijke artefacten. Wij introduceren EnterpriseClawBench, een benchmark voor ondernemingsagenten die is opgebouwd uit propriëtaire, realistische agentsessies. Vertrekkend vanuit een groot archief van werkpleksessies genereert EnterpriseClawBench 852 reproduceerbare taken, elk voorzien van herstelde fixtures, herschreven prompts, rolklassen, vaardigheidssubklassen, harde regels en semantische rubrieken. Omdat de sessies interne bedrijfsinhoud bevatten, geven wij de benchmarkgegevens niet vrij; in plaats daarvan is onze herbruikbare bijdrage het constructie- en evaluatieprotocol. Op EnterpriseClawBench bereikt de beste configuratie slechts 0,663 (Codex met GPT-5.5). Deze resultaten tonen aan dat evaluatie van ondernemingsagenten combinaties van testopstelling en model, levering van artefacten, visuele kwaliteit, kosten, looptijd en vaardigheidsoverdrachtgedrag moet rapporteren, in plaats van prestaties terug te brengen tot één enkele score. Code: https://github.com/FrontisAI/EnterpriseClawBench

English

Enterprise agents increasingly operate inside workspaces: they read heterogeneous files, invoke tools, and deliver business artifacts. We introduce EnterpriseClawBench, an enterprise agent benchmark constructed from proprietary, real-world agent sessions. Starting from a large archive of workplace sessions, the EnterpriseClawBench produces 852 reproducible tasks, each paired with recovered fixtures, rewritten prompts, role classes, skill subclasses, hard rules, and semantic rubrics. Because the sessions contain internal enterprise content, we do not release the benchmark data; instead, our reusable contribution is the construction and evaluation protocol. On EnterpriseClawBench, the best configuration reaches only 0.663 (Codex with GPT-5.5). These results show that enterprise agent evaluation must report harness--model combinations, artifact delivery, visual quality, cost, runtime, and skill-transfer behavior, rather than collapsing performance into a single score. Code: https://github.com/FrontisAI/EnterpriseClawBench