EnterpriseClawBench: Benchmarking de Agentes a partir de Sessões Reais de Trabalho

Resumo

Agentes empresariais cada vez mais operam em espaços de trabalho: leem arquivos heterogêneos, invocam ferramentas e entregam artefatos de negócios. Apresentamos o EnterpriseClawBench, um benchmark para agentes empresariais construído a partir de sessões reais e proprietárias de agentes. Partindo de um grande arquivo de sessões de trabalho, o EnterpriseClawBench gera 852 tarefas reproduzíveis, cada uma acompanhada de dispositivos recuperados, instruções reescritas, classes de papéis, subclasses de habilidades, regras rígidas e rubricas semânticas. Como as sessões contêm conteúdo empresarial interno, não divulgamos os dados do benchmark; em vez disso, nossa contribuição reutilizável é o protocolo de construção e avaliação. No EnterpriseClawBench, a melhor configuração alcança apenas 0,663 (Codex com GPT-5.5). Esses resultados mostram que a avaliação de agentes empresariais deve reportar combinações de modelo e estrutura de teste, entrega de artefatos, qualidade visual, custo, tempo de execução e comportamento de transferência de habilidades, em vez de colapsar o desempenho em uma única pontuação. Código: https://github.com/FrontisAI/EnterpriseClawBench

English

Enterprise agents increasingly operate inside workspaces: they read heterogeneous files, invoke tools, and deliver business artifacts. We introduce EnterpriseClawBench, an enterprise agent benchmark constructed from proprietary, real-world agent sessions. Starting from a large archive of workplace sessions, the EnterpriseClawBench produces 852 reproducible tasks, each paired with recovered fixtures, rewritten prompts, role classes, skill subclasses, hard rules, and semantic rubrics. Because the sessions contain internal enterprise content, we do not release the benchmark data; instead, our reusable contribution is the construction and evaluation protocol. On EnterpriseClawBench, the best configuration reaches only 0.663 (Codex with GPT-5.5). These results show that enterprise agent evaluation must report harness--model combinations, artifact delivery, visual quality, cost, runtime, and skill-transfer behavior, rather than collapsing performance into a single score. Code: https://github.com/FrontisAI/EnterpriseClawBench