ABC-Bench: Benchmark delle Capacità di Codifica Agente per Backend nello Sviluppo Software del Mondo Reale
ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development
January 16, 2026
Autori: Jie Yang, Honglin Guo, Li Ji, Jiazheng Zhou, Rui Zheng, Zhikai Lei, Shuo Zhang, Zhiheng Xi, Shichun Liu, Yuxin Wang, Bo Wang, Yining Zheng, Tao Gui, Xipeng Qiu
cs.AI
Abstract
L'evoluzione dei Large Language Model (LLM) in agenti autonomi ha ampliato la portata della programmazione IA dalla generazione di codice localizzata alla risoluzione di problemi complessi, a livello di repository e guidata dall'esecuzione. Tuttavia, gli attuali benchmark valutano principalmente la logica del codice in contesti statici, trascurando le esigenze dinamiche e di processo completo dell'ingegneria del mondo reale, in particolare nello sviluppo backend che richiede una configurazione ambientale rigorosa e il deployment di servizi. Per colmare questa lacuna, introduciamo ABC-Bench, un benchmark progettato esplicitamente per valutare la programmazione backend agentica all'interno di un flusso di lavoro realistico ed eseguibile. Utilizzando una pipeline automatizzata e scalabile, abbiamo curato 224 task pratici che coprono 8 linguaggi e 19 framework provenienti da repository open-source. A differenza delle valutazioni precedenti, ABC-Bench richiede agli agenti di gestire l'intero ciclo di vita dello sviluppo, dall'esplorazione del repository all'istanziazione di servizi containerizzati, e di superare test API end-to-end esterni. La nostra valutazione estensiva rivela che anche i modelli più all'avanguardia faticano a fornire prestazioni affidabili su questi task olistici, evidenziando una disparità sostanziale tra le capacità attuali dei modelli e le esigenze pratiche dell'ingegneria backend. Il nostro codice è disponibile all'indirizzo https://github.com/OpenMOSS/ABC-Bench.
English
The evolution of Large Language Models (LLMs) into autonomous agents has expanded the scope of AI coding from localized code generation to complex, repository-level, and execution-driven problem solving. However, current benchmarks predominantly evaluate code logic in static contexts, neglecting the dynamic, full-process requirements of real-world engineering, particularly in backend development which demands rigorous environment configuration and service deployment. To address this gap, we introduce ABC-Bench, a benchmark explicitly designed to evaluate agentic backend coding within a realistic, executable workflow. Using a scalable automated pipeline, we curated 224 practical tasks spanning 8 languages and 19 frameworks from open-source repositories. Distinct from previous evaluations, ABC-Bench require the agents to manage the entire development lifecycle from repository exploration to instantiating containerized services and pass the external end-to-end API tests. Our extensive evaluation reveals that even state-of-the-art models struggle to deliver reliable performance on these holistic tasks, highlighting a substantial disparity between current model capabilities and the demands of practical backend engineering. Our code is available at https://github.com/OpenMOSS/ABC-Bench.