EnterpriseClawBench: Evaluación comparativa de agentes basada en sesiones laborales reales

Resumen

Los agentes empresariales operan cada vez más dentro de espacios de trabajo: leen archivos heterogéneos, invocan herramientas y generan artefactos de negocio. Presentamos EnterpriseClawBench, un benchmark para agentes empresariales construido a partir de sesiones reales y propietarias de agentes. Partiendo de un amplio archivo de sesiones laborales, EnterpriseClawBench produce 852 tareas reproducibles, cada una acompañada de fixtures recuperados, indicaciones reescritas, clases de rol, subclases de habilidad, reglas estrictas y rúbricas semánticas. Debido a que las sesiones contienen contenido empresarial interno, no publicamos los datos del benchmark; en su lugar, nuestra contribución reutilizable es el protocolo de construcción y evaluación. En EnterpriseClawBench, la mejor configuración alcanza solo 0,663 (Codex con GPT-5.5). Estos resultados demuestran que la evaluación de agentes empresariales debe reportar combinaciones de harness-modelo, entrega de artefactos, calidad visual, costo, tiempo de ejecución y comportamiento de transferencia de habilidades, en lugar de reducir el rendimiento a una única puntuación. Código: https://github.com/FrontisAI/EnterpriseClawBench

English

Enterprise agents increasingly operate inside workspaces: they read heterogeneous files, invoke tools, and deliver business artifacts. We introduce EnterpriseClawBench, an enterprise agent benchmark constructed from proprietary, real-world agent sessions. Starting from a large archive of workplace sessions, the EnterpriseClawBench produces 852 reproducible tasks, each paired with recovered fixtures, rewritten prompts, role classes, skill subclasses, hard rules, and semantic rubrics. Because the sessions contain internal enterprise content, we do not release the benchmark data; instead, our reusable contribution is the construction and evaluation protocol. On EnterpriseClawBench, the best configuration reaches only 0.663 (Codex with GPT-5.5). These results show that enterprise agent evaluation must report harness--model combinations, artifact delivery, visual quality, cost, runtime, and skill-transfer behavior, rather than collapsing performance into a single score. Code: https://github.com/FrontisAI/EnterpriseClawBench