ABC-Bench: Benchmarking agentenbasierter Backend-Entwicklung in realen Entwicklungsumgebungen
ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development
January 16, 2026
papers.authors: Jie Yang, Honglin Guo, Li Ji, Jiazheng Zhou, Rui Zheng, Zhikai Lei, Shuo Zhang, Zhiheng Xi, Shichun Liu, Yuxin Wang, Bo Wang, Yining Zheng, Tao Gui, Xipeng Qiu
cs.AI
papers.abstract
Die Entwicklung von Large Language Models (LLMs) zu autonomen Agenten hat den Umfang der KI-gestützten Programmierung von lokaler Code-Generierung auf komplexe, repository-weite und ausführungsgesteuerte Problemlösung erweitert. Aktuelle Benchmarks bewerten jedoch überwiegend Code-Logik in statischen Kontexten und vernachlässigen die dynamischen, prozessumspannenden Anforderungen realer Ingenieursarbeit, insbesondere in der Backend-Entwicklung, die rigorose Umgebungskonfiguration und Service-Deployment erfordert. Um diese Lücke zu schließen, führen wir ABC-Bench ein, einen Benchmark, der explizit zur Bewertung agentenbasierter Backend-Programmierung innerhalb eines realistischen, ausführbaren Workflows konzipiert wurde. Mithilfe einer skalierbaren automatisierten Pipeline haben wir 224 praktische Aufgaben aus Open-Source-Repositories kuratiert, die 8 Programmiersprachen und 19 Frameworks abdecken. Im Gegensatz zu früheren Evaluationen erfordert ABC-Bench von den Agenten, den gesamten Entwicklungslebenszyklus zu bewältigen – von der Repository-Erkundung bis zur Instanziierung containerisierter Dienste – und externe End-to-End-API-Tests zu bestehen. Unsere umfassende Auswertung zeigt, dass selbst modernste Modelle bei diesen ganzheitlichen Aufgaben mit zuverlässiger Leistung kämpfen, was eine erhebliche Diskrepanz zwischen aktuellen Modellfähigkeiten und den Anforderungen praktischer Backend-Entwicklung aufzeigt. Unser Code ist verfügbar unter https://github.com/OpenMOSS/ABC-Bench.
English
The evolution of Large Language Models (LLMs) into autonomous agents has expanded the scope of AI coding from localized code generation to complex, repository-level, and execution-driven problem solving. However, current benchmarks predominantly evaluate code logic in static contexts, neglecting the dynamic, full-process requirements of real-world engineering, particularly in backend development which demands rigorous environment configuration and service deployment. To address this gap, we introduce ABC-Bench, a benchmark explicitly designed to evaluate agentic backend coding within a realistic, executable workflow. Using a scalable automated pipeline, we curated 224 practical tasks spanning 8 languages and 19 frameworks from open-source repositories. Distinct from previous evaluations, ABC-Bench require the agents to manage the entire development lifecycle from repository exploration to instantiating containerized services and pass the external end-to-end API tests. Our extensive evaluation reveals that even state-of-the-art models struggle to deliver reliable performance on these holistic tasks, highlighting a substantial disparity between current model capabilities and the demands of practical backend engineering. Our code is available at https://github.com/OpenMOSS/ABC-Bench.