ContextBench: Бенчмарк для оценки извлечения контекста в программирующих агентах

ContextBench: A Benchmark for Context Retrieval in Coding Agents

February 5, 2026

Авторы: Han Li, Letian Zhu, Bohan Zhang, Rili Feng, Jiaming Wang, Yue Pan, Earl T. Barr, Sarro Federica, Zhaoyang Chu, He Ye

cs.AI

Аннотация

Лингвистические модели на основе LLM продемонстрировали высокую производительность в бенчмарках автоматизированного разрешения issue, однако существующие оценки в основном сосредоточены на итоговом успехе выполнения задачи, давая ограниченное представление о том, как агенты извлекают и используют контекст кода в процессе решения проблем. Мы представляем ContextBench — процессно-ориентированную оценку извлечения контекста в кодирующих агентах. ContextBench включает 1136 задач по разрешению issue из 66 репозиториев на восьми языках программирования, каждая из которых дополнена контекстами, размеченными человеком. Мы также реализуем автоматизированную систему оценки, которая отслеживает траектории агентов и измеряет полноту, точность и эффективность извлечения контекста на протяжении всего процесса разрешения issue. С помощью ContextBench мы оцениваем четыре передовые LLM и пять кодирующих агентов. Наши результаты показывают, что сложные агентские обертки дают лишь незначительное улучшение в извлечении контекста («Горький урок» для кодирующих агентов), LLM последовательно предпочитают полноту точности, а также существует существенный разрыв между исследуемым и используемым контекстом. ContextBench дополняет существующие сквозные бенчмарки промежуточными метриками на основе размеченного контекста, которые раскрывают процесс разрешения issue. Эти контексты предоставляют ценные промежуточные сигналы для управления рассуждениями LLM в программных задачах.

English

LLM-based coding agents have shown strong performance on automated issue resolution benchmarks, yet existing evaluations largely focus on final task success, providing limited insight into how agents retrieve and use code context during problem solving. We introduce ContextBench, a process-oriented evaluation of context retrieval in coding agents. ContextBench consists of 1,136 issue-resolution tasks from 66 repositories across eight programming languages, each augmented with human-annotated gold contexts. We further implement an automated evaluation framework that tracks agent trajectories and measures context recall, precision, and efficiency throughout issue resolution. Using ContextBench, we evaluate four frontier LLMs and five coding agents. Our results show that sophisticated agent scaffolding yields only marginal gains in context retrieval ("The Bitter Lesson" of coding agents), LLMs consistently favor recall over precision, and substantial gaps exist between explored and utilized context. ContextBench augments existing end-to-end benchmarks with intermediate gold-context metrics that unbox the issue-resolution process. These contexts offer valuable intermediate signals for guiding LLM reasoning in software tasks.