SWE-Explore: бенчмаркинг того, как кодирующие агенты исследуют репозитории

Аннотация

Бенчмарки репозиториев на уровне кода, такие как SWE-bench, привели к быстрому росту возможностей агентов кодирования. Однако они обычно рассматривают задачи кодирования как целостную бинарную проблему предсказания (например, решена или не решена), пренебрегая тонкими способностями агентов, такими как понимание репозитория, извлечение контекста, локализация кода и диагностика ошибок. В данной статье мы представляем SWE-Explore — бенчмарк, который изолирует оценку исследования репозитория, критически важной способности агентов кодирования. Получив репозиторий и задачу (issue), SWE-Explore предлагает исследователю (explorer) вернуть ранжированный список релевантных областей кода в рамках фиксированного бюджета строк. SWE-Explore охватывает 848 задач на 10 языках программирования и 203 репозиториях с открытым исходным кодом. Для каждого экземпляра мы выводим построчную наземную истину (line-level ground truth) на основе независимых траекторий агентов, которые успешно решили ту же задачу, дистиллируя конкретные области кода, которые их решения фактически использовали. Мы оцениваем исследование по измерениям покрытия, ранжирования и эффективности контекста, показывая, что эти метрики сильно коррелируют с последующим поведением исправления. В широком наборе методов извлечения, общих агентов кодирования и специализированных локализаторов мы обнаруживаем, что агентные исследователи (agentic explorers) образуют чёткий уровень выше классических методов извлечения. В то время как локализация на уровне файлов уже сильна для современных методов, покрытие на уровне строк и эффективное ранжирование остаются ключевыми осями, дифференцирующими передовые исследователи.

English

Repository-level coding benchmarks such as SWE-bench have driven a rapid surge in the capabilities of coding agents. Yet they usually treat coding tasks as a holistic, binary prediction problem (e.g., resolved or unresolved), neglecting fine-grained agent capabilities such as repository understanding, context retrieval, code localization, and bug diagnosis. In this paper, we introduce SWE-Explore, a benchmark that isolates the evaluation of repository exploration, a critical capability of coding agents. Given a repository and an issue, SWE-Explore asks an explorer to return a ranked list of relevant code regions under a fixed line budget. SWE-Explore covers 848 issues across 10 programming languages and 203 open-source repositories. For each instance, we derive line-level ground truth from independent agent trajectories that successfully solved the same issue, distilling the specific code regions their solution paths actually consulted. We evaluate exploration along coverage, ranking, and context-efficiency dimensions, showing that these metrics strongly track downstream repair behavior. Across a broad set of retrieval methods, general coding agents, and specialized localizers, we find that agentic explorers form a clear tier above classical retrieval. While file-level localization is already strong for modern methods, line-level coverage and efficient ranking remain the key axes differentiating state-of-the-art explorers.