ContextBench: un benchmark per il recupero del contesto negli agenti di programmazione
ContextBench: A Benchmark for Context Retrieval in Coding Agents
February 5, 2026
Autori: Han Li, Letian Zhu, Bohan Zhang, Rili Feng, Jiaming Wang, Yue Pan, Earl T. Barr, Sarro Federica, Zhaoyang Chu, He Ye
cs.AI
Abstract
Gli agenti di codifica basati su LLM hanno dimostrato prestazioni solide nei benchmark di risoluzione automatica dei problemi, tuttavia le valutazioni esistenti si concentrano prevalentemente sul successo finale del compito, fornendo insight limitati su come gli agenti recuperano e utilizzano il contesto del codice durante la risoluzione dei problemi. Introduciamo ContextBench, una valutazione orientata al processo del recupero del contesto negli agenti di codifica. ContextBench è composto da 1.136 task di risoluzione di issue provenienti da 66 repository in otto linguaggi di programmazione, ciascuno arricchito con contesti gold annotati manualmente. Implementiamo inoltre un framework di valutazione automatizzato che traccia le traiettorie degli agenti e misura recall, precisione ed efficienza del contesto durante l'intero processo di risoluzione. Utilizzando ContextBench, valutiamo quattro LLM all'avanguardia e cinque agenti di codifica. I nostri risultati mostrano che l'impalcatura sofisticata degli agenti produce solo miglioramenti marginali nel recupero del contesto ("La Lezione Amara" degli agenti di codifica), gli LLM privilegiano costantemente la recall rispetto alla precisione, ed esistono divari sostanziali tra contesto esplorato e contesto utilizzato. ContextBench integra i benchmark end-to-end esistenti con metriche intermedie basate su contesti gold che "scoperchiano" il processo di risoluzione dei problemi. Questi contesti offrono segnali intermedi preziosi per guidare il ragionamento degli LLM nei task software.
English
LLM-based coding agents have shown strong performance on automated issue resolution benchmarks, yet existing evaluations largely focus on final task success, providing limited insight into how agents retrieve and use code context during problem solving. We introduce ContextBench, a process-oriented evaluation of context retrieval in coding agents. ContextBench consists of 1,136 issue-resolution tasks from 66 repositories across eight programming languages, each augmented with human-annotated gold contexts. We further implement an automated evaluation framework that tracks agent trajectories and measures context recall, precision, and efficiency throughout issue resolution. Using ContextBench, we evaluate four frontier LLMs and five coding agents. Our results show that sophisticated agent scaffolding yields only marginal gains in context retrieval ("The Bitter Lesson" of coding agents), LLMs consistently favor recall over precision, and substantial gaps exist between explored and utilized context. ContextBench augments existing end-to-end benchmarks with intermediate gold-context metrics that unbox the issue-resolution process. These contexts offer valuable intermediate signals for guiding LLM reasoning in software tasks.