SaaSBench: Explorando los Límites de los Agentes de Codificación en la Ingeniería SaaS Empresarial de Largo Plazo

Resumen

A medida que los agentes autónomos de codificación se vuelven capaces de manejar tareas de horizonte cada vez más largo, han demostrado gradualmente el potencial para completar el desarrollo de software de extremo a extremo. Aunque los puntos de referencia existentes han evolucionado recientemente desde la edición localizada de código hasta la generación de proyectos desde cero, siguen limitados a aplicaciones estructuralmente simplificadas y de una sola pila. En consecuencia, no logran capturar los entornos heterogéneos, la orquestación de pila completa y la complejidad a nivel de sistema de los sistemas empresariales reales de Software como Servicio (SaaS), dejando una brecha crítica en la evaluación de los agentes bajo restricciones de ingeniería realistas. Para llenar esta brecha, presentamos SaaSBench, el primer punto de referencia diseñado para explorar los límites de los agentes de IA en la ingeniería SaaS empresarial. Abarcando 30 tareas complejas en 6 dominios SaaS con 5,370 nodos de validación, incorpora 8 lenguajes de programación, 6 bases de datos y 13 frameworks para reflejar meticulosamente la heterogeneidad del software del mundo real. Además, diseñamos un paradigma de evaluación híbrido consciente de dependencias, adaptado para sistemas complejos con horizontes largos y acoplamiento de múltiples componentes, que permite una evaluación detallada y reproducible. Crucialmente, nuestros extensos experimentos revelan una idea impactante: el principal cuello de botella para los agentes de última generación no es generar lógica de código aislada, sino configurar e integrar con éxito un sistema de múltiples componentes. Más del 95% de los fallos en las tareas ocurren antes de que los agentes siquiera alcancen la lógica de negocio profunda, y los modelos a menudo caen víctimas del exceso de confianza, deteniéndose prematuramente durante la configuración fundamental del sistema, o quedando atrapados en bucles ineficaces de depuración. Esperamos que SaaSBench sirva como un banco de pruebas práctico y desafiante para impulsar la evolución de agentes de codificación fiables a nivel de sistema. El código está disponible en https://github.com/ShadeCloak/SaaSbench.

English

As autonomous coding agents become capable of handling increasingly long-horizon tasks, they have gradually demonstrated the potential to complete end-to-end software development. Although existing benchmarks have recently evolved from localized code editing to from-scratch project generation, they remain confined to structurally simplified, single-stack applications. Consequently, they fail to capture the heterogeneous environments, full-stack orchestration, and system-level complexity of real enterprise Software as a Service (SaaS) systems, leaving a critical gap in assessing agents under realistic engineering constraints. To fill this gap, we introduce SaaSBench, the first benchmark designed to explore the boundaries of AI agents in enterprise SaaS engineering. Spanning 30 complex tasks across 6 SaaS domains with 5,370 validation nodes, it incorporates 8 programming languages, 6 databases, and 13 frameworks to meticulously mirror real-world software heterogeneity. Furthermore, we design a dependency-aware hybrid evaluation paradigm tailored for complex systems with long horizons and multi-component coupling, enabling fine-grained, reproducible assessment. Crucially, our extensive experiments reveal a striking insight: the primary bottleneck for state-of-the-art agents is not generating isolated code logic, but successfully configuring and integrating a multi-component system. Over 95\% of task failures occur before agents even reach deep business logic, with models often falling victim to overconfidence and prematurely halting during foundational system setup, or getting trapped in ineffective debugging loops. We hope SaaSBench serves as a practical and challenging testbed to drive the evolution of reliable, system-level coding agents. The code is available at https://github.com/ShadeCloak/SaaSbench.