EnterpriseClawBench: Бенчмаркинг агентов на основе реальных рабочих сессий

Аннотация

Агенты предприятий все чаще работают внутри рабочих пространств: они читают разнородные файлы, вызывают инструменты и предоставляют бизнес-артефакты. Мы представляем EnterpriseClawBench — эталон для тестирования агентов предприятий, построенный на проприетарных сессиях агентов из реального мира. Исходя из большого архива рабочих сессий, EnterpriseClawBench создает 852 воспроизводимых задания, каждое из которых снабжено восстановленными фикстурами, переписанными промптами, классами ролей, подклассами навыков, жесткими правилами и семантическими рубриками. Поскольку сессии содержат внутренний контент предприятий, мы не публикуем данные бенчмарка; вместо этого наш воспроизводимый вклад заключается в протоколе построения и оценки. На EnterpriseClawBench наилучшая конфигурация достигает только 0.663 (Codex с GPT-5.5). Эти результаты показывают, что оценка агентов предприятий должна сообщать комбинации харнеса и модели, доставку артефактов, визуальное качество, стоимость, время выполнения и поведение при переносе навыков, а не сводить производительность к единому показателю. Код: https://github.com/FrontisAI/EnterpriseClawBench

English

Enterprise agents increasingly operate inside workspaces: they read heterogeneous files, invoke tools, and deliver business artifacts. We introduce EnterpriseClawBench, an enterprise agent benchmark constructed from proprietary, real-world agent sessions. Starting from a large archive of workplace sessions, the EnterpriseClawBench produces 852 reproducible tasks, each paired with recovered fixtures, rewritten prompts, role classes, skill subclasses, hard rules, and semantic rubrics. Because the sessions contain internal enterprise content, we do not release the benchmark data; instead, our reusable contribution is the construction and evaluation protocol. On EnterpriseClawBench, the best configuration reaches only 0.663 (Codex with GPT-5.5). These results show that enterprise agent evaluation must report harness--model combinations, artifact delivery, visual quality, cost, runtime, and skill-transfer behavior, rather than collapsing performance into a single score. Code: https://github.com/FrontisAI/EnterpriseClawBench