ABC-Bench : Évaluation du codage agentique backend dans le développement réel
ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development
January 16, 2026
papers.authors: Jie Yang, Honglin Guo, Li Ji, Jiazheng Zhou, Rui Zheng, Zhikai Lei, Shuo Zhang, Zhiheng Xi, Shichun Liu, Yuxin Wang, Bo Wang, Yining Zheng, Tao Gui, Xipeng Qiu
cs.AI
papers.abstract
L'évolution des modèles de langage de grande taille (LLM) en agents autonomes a élargi le champ de la génération de code par IA, passant d'une production localisée de code à une résolution de problèmes complexe, au niveau du dépôt et pilotée par l'exécution. Cependant, les benchmarks actuels évaluent principalement la logique du code dans des contextes statiques, négligeant les exigences dynamiques et de processus complet de l'ingénierie réelle, particulièrement dans le développement backend qui nécessite une configuration rigoureuse de l'environnement et un déploiement de services. Pour combler cette lacune, nous présentons ABC-Bench, un benchmark explicitement conçu pour évaluer le codage backend agentique dans un flux de travail réaliste et exécutable. En utilisant un pipeline automatisé et évolutif, nous avons sélectionné 224 tâches pratiques couvrant 8 langages et 19 frameworks à partir de dépôts open source. Contrairement aux évaluations précédentes, ABC-Bench exige que les agents gèrent l'ensemble du cycle de vie du développement, de l'exploration du dépôt à l'instanciation de services conteneurisés, et qu'ils réussissent des tests API externes de bout en bout. Notre évaluation approfondie révèle que même les modèles les plus avancés peinent à fournir des performances fiables sur ces tâches holistiques, mettant en lumière un écart substantiel entre les capacités actuelles des modèles et les exigences pratiques de l'ingénierie backend. Notre code est disponible à l'adresse https://github.com/OpenMOSS/ABC-Bench.
English
The evolution of Large Language Models (LLMs) into autonomous agents has expanded the scope of AI coding from localized code generation to complex, repository-level, and execution-driven problem solving. However, current benchmarks predominantly evaluate code logic in static contexts, neglecting the dynamic, full-process requirements of real-world engineering, particularly in backend development which demands rigorous environment configuration and service deployment. To address this gap, we introduce ABC-Bench, a benchmark explicitly designed to evaluate agentic backend coding within a realistic, executable workflow. Using a scalable automated pipeline, we curated 224 practical tasks spanning 8 languages and 19 frameworks from open-source repositories. Distinct from previous evaluations, ABC-Bench require the agents to manage the entire development lifecycle from repository exploration to instantiating containerized services and pass the external end-to-end API tests. Our extensive evaluation reveals that even state-of-the-art models struggle to deliver reliable performance on these holistic tasks, highlighting a substantial disparity between current model capabilities and the demands of practical backend engineering. Our code is available at https://github.com/OpenMOSS/ABC-Bench.