ABC-Bench: Evaluación de la Codificación Backend de Agentes en el Desarrollo del Mundo Real
ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development
January 16, 2026
Autores: Jie Yang, Honglin Guo, Li Ji, Jiazheng Zhou, Rui Zheng, Zhikai Lei, Shuo Zhang, Zhiheng Xi, Shichun Liu, Yuxin Wang, Bo Wang, Yining Zheng, Tao Gui, Xipeng Qiu
cs.AI
Resumen
La evolución de los Modelos de Lenguaje a Gran Escala (LLMs) hacia agentes autónomos ha ampliado el alcance de la codificación con IA, desde la generación de código localizada hasta la resolución de problemas complejos a nivel de repositorio y basada en ejecución. Sin embargo, los puntos de referencia actuales evalúan predominantemente la lógica del código en contextos estáticos, descuidando los requisitos dinámicos de proceso completo de la ingeniería del mundo real, particularmente en el desarrollo backend que exige una configuración rigurosa del entorno y el despliegue de servicios. Para abordar esta brecha, presentamos ABC-Bench, un punto de referencia diseñado explícitamente para evaluar la codificación backend agéntica dentro de un flujo de trabajo realista y ejecutable. Utilizando una canalización automatizada escalable, seleccionamos 224 tareas prácticas que abarcan 8 lenguajes y 19 frameworks de repositorios de código abierto. A diferencia de evaluaciones anteriores, ABC-Bench requiere que los agentes gestionen todo el ciclo de vida del desarrollo, desde la exploración del repositorio hasta la instanciación de servicios containerizados, y que superen pruebas externas de API de extremo a extremo. Nuestra evaluación exhaustiva revela que incluso los modelos más avanzados tienen dificultades para ofrecer un rendimiento confiable en estas tareas holísticas, destacando una disparidad sustancial entre las capacidades actuales de los modelos y las demandas de la ingeniería backend práctica. Nuestro código está disponible en https://github.com/OpenMOSS/ABC-Bench.
English
The evolution of Large Language Models (LLMs) into autonomous agents has expanded the scope of AI coding from localized code generation to complex, repository-level, and execution-driven problem solving. However, current benchmarks predominantly evaluate code logic in static contexts, neglecting the dynamic, full-process requirements of real-world engineering, particularly in backend development which demands rigorous environment configuration and service deployment. To address this gap, we introduce ABC-Bench, a benchmark explicitly designed to evaluate agentic backend coding within a realistic, executable workflow. Using a scalable automated pipeline, we curated 224 practical tasks spanning 8 languages and 19 frameworks from open-source repositories. Distinct from previous evaluations, ABC-Bench require the agents to manage the entire development lifecycle from repository exploration to instantiating containerized services and pass the external end-to-end API tests. Our extensive evaluation reveals that even state-of-the-art models struggle to deliver reliable performance on these holistic tasks, highlighting a substantial disparity between current model capabilities and the demands of practical backend engineering. Our code is available at https://github.com/OpenMOSS/ABC-Bench.