ContextBench: 코딩 에이전트의 컨텍스트 검색 벤치마크

ContextBench: A Benchmark for Context Retrieval in Coding Agents

February 5, 2026

저자: Han Li, Letian Zhu, Bohan Zhang, Rili Feng, Jiaming Wang, Yue Pan, Earl T. Barr, Sarro Federica, Zhaoyang Chu, He Ye

cs.AI

초록

LLM 기반 코딩 에이전트는 자동화된 이슈 해결 벤치마크에서 강력한 성능을 보여왔지만, 기존 평가는 주로 최종 작업 성공률에 집중하여 문제 해결 과정에서 에이전트가 코드 컨텍스트를 어떻게 검색하고 활용하는지에 대한 통찰은 제한적이었습니다. 본 연구에서는 코딩 에이전트의 컨텍스트 검색 과정을 평가하는 프로세스 지향적 프레임워크인 ContextBench를 소개합니다. ContextBench는 8개 프로그래밍 언어의 66개 저장소에서 추출한 1,136개의 이슈 해결 작업으로 구성되며, 각 작업은 인간이 주석을 달은 골드 컨텍스트(Gold Context)로 보강되었습니다. 또한 에이전트 실행 궤적을 추적하고 이슈 해결 전반에 걸쳐 컨텍스트 재현율, 정밀도 및 효율성을 측정하는 자동화된 평가 프레임워크를 구현했습니다. ContextBench를 활용하여 4개의 최첨단 LLM과 5개의 코딩 에이전트를 평가한 결과, 1) 정교한 에이전트 스캐폴딩은 컨텍스트 검색 성능에 있어 미미한 향상만을 가져왔으며(코딩 에이전트의 "쓴 교훈"), 2) LLM은 일관되게 정밀도보다 재현율을 우선시하는 경향을 보였고, 3) 탐색된 컨텍스트와 실제 활용된 컨텍스트 사이에 상당한 격차가 존재함을 확인했습니다. ContextBench는 기존 종단간(end-to-end) 벤치마크에 중간 골드 컨텍스트 메트릭을 추가하여 이슈 해결 과정을 투명하게 분석합니다. 이러한 컨텍스트는 소프트웨어 작업에서 LLM 추론을 안내하는 가치 있는 중간 신호를 제공합니다.

English

LLM-based coding agents have shown strong performance on automated issue resolution benchmarks, yet existing evaluations largely focus on final task success, providing limited insight into how agents retrieve and use code context during problem solving. We introduce ContextBench, a process-oriented evaluation of context retrieval in coding agents. ContextBench consists of 1,136 issue-resolution tasks from 66 repositories across eight programming languages, each augmented with human-annotated gold contexts. We further implement an automated evaluation framework that tracks agent trajectories and measures context recall, precision, and efficiency throughout issue resolution. Using ContextBench, we evaluate four frontier LLMs and five coding agents. Our results show that sophisticated agent scaffolding yields only marginal gains in context retrieval ("The Bitter Lesson" of coding agents), LLMs consistently favor recall over precision, and substantial gaps exist between explored and utilized context. ContextBench augments existing end-to-end benchmarks with intermediate gold-context metrics that unbox the issue-resolution process. These contexts offer valuable intermediate signals for guiding LLM reasoning in software tasks.