ContextBench: Un Punto de Referencia para la Recuperación de Contexto en Agentes de Programación
ContextBench: A Benchmark for Context Retrieval in Coding Agents
February 5, 2026
Autores: Han Li, Letian Zhu, Bohan Zhang, Rili Feng, Jiaming Wang, Yue Pan, Earl T. Barr, Sarro Federica, Zhaoyang Chu, He Ye
cs.AI
Resumen
Los agentes de programación basados en LLM han demostrado un alto rendimiento en benchmarks de resolución automática de incidencias, aunque las evaluaciones existentes se centran principalmente en el éxito final de la tarea, proporcionando una visión limitada sobre cómo estos agentes recuperan y utilizan el contexto del código durante la resolución de problemas. Presentamos ContextBench, una evaluación orientada al proceso de la recuperación de contexto en agentes de programación. ContextBench consta de 1.136 tareas de resolución de incidencias procedentes de 66 repositorios en ocho lenguajes de programación, cada una aumentada con contextos de referencia anotados manualmente. Además, implementamos un marco de evaluación automatizado que rastrea las trayectorias de los agentes y mide la exhaustividad, precisión y eficiencia del contexto durante todo el proceso de resolución. Utilizando ContextBench, evaluamos cuatro LLMs de vanguardia y cinco agentes de programación. Nuestros resultados muestran que los sofisticados andamiajes de agentes producen solo mejoras marginales en la recuperación de contexto (la "Lección Amarga" de los agentes de programación), que los LLMs priorizan consistentemente la exhaustividad sobre la precisión, y que existen brechas sustanciales entre el contexto explorado y el utilizado. ContextBench complementa los benchmarks existentes de extremo a extremo con métricas intermedias de contexto de referencia que permiten analizar el proceso de resolución de incidencias. Estos contextos proporcionan señales intermedias valiosas para guiar el razonamiento de los LLMs en tareas de software.
English
LLM-based coding agents have shown strong performance on automated issue resolution benchmarks, yet existing evaluations largely focus on final task success, providing limited insight into how agents retrieve and use code context during problem solving. We introduce ContextBench, a process-oriented evaluation of context retrieval in coding agents. ContextBench consists of 1,136 issue-resolution tasks from 66 repositories across eight programming languages, each augmented with human-annotated gold contexts. We further implement an automated evaluation framework that tracks agent trajectories and measures context recall, precision, and efficiency throughout issue resolution. Using ContextBench, we evaluate four frontier LLMs and five coding agents. Our results show that sophisticated agent scaffolding yields only marginal gains in context retrieval ("The Bitter Lesson" of coding agents), LLMs consistently favor recall over precision, and substantial gaps exist between explored and utilized context. ContextBench augments existing end-to-end benchmarks with intermediate gold-context metrics that unbox the issue-resolution process. These contexts offer valuable intermediate signals for guiding LLM reasoning in software tasks.