SWE-Explore: Het benchmarken van hoe codeeragenten repositories verkennen

Samenvatting

Repository-niveau codeerbenchmarks zoals SWE-bench hebben geleid tot een snelle toename van de mogelijkheden van codeeragenten. Toch behandelen ze codeertaken doorgaans als een holistisch, binair voorspellingsprobleem (bijv. opgelost of niet opgelost), waarbij fijnmazige agentcapaciteiten zoals repository-begrip, contextophaling, codelokalisatie en foutdiagnose worden verwaarloosd. In dit artikel introduceren we SWE-Explore, een benchmark die de evaluatie van repository-verkenning isoleert, een cruciale capaciteit van codeeragenten. Gegeven een repository en een issue vraagt SWE-Explore een verkennende agent om een gerangschikte lijst van relevante coderegio's terug te geven binnen een vastgesteld regelbudget. SWE-Explore omvat 848 issues in 10 programmeertalen en 203 open-source repositories. Voor elke instantie leiden we grondwaarheid op regelniveau af uit onafhankelijke agenttrajecten die hetzelfde issue met succes hebben opgelost, waarbij we de specifieke coderegio's distilleren die hun oplossingspaden daadwerkelijk hebben geraadpleegd. We evalueren verkenning langs de dimensies dekking, rangschikking en context-efficiëntie, en tonen aan dat deze metrieken sterk correleren met het daaropvolgende herstelgedrag. Over een breed scala aan retrievemethoden, algemene codeeragenten en gespecialiseerde localizers heen, zien we dat agentische verkenners een duidelijke laag boven klassieke retrieval vormen. Hoewel lokalisatie op bestandsniveau voor moderne methoden al sterk is, blijven dekking op regelniveau en efficiënte rangschikking de belangrijkste assen waarlangs state-of-the-art verkenners zich onderscheiden.

English

Repository-level coding benchmarks such as SWE-bench have driven a rapid surge in the capabilities of coding agents. Yet they usually treat coding tasks as a holistic, binary prediction problem (e.g., resolved or unresolved), neglecting fine-grained agent capabilities such as repository understanding, context retrieval, code localization, and bug diagnosis. In this paper, we introduce SWE-Explore, a benchmark that isolates the evaluation of repository exploration, a critical capability of coding agents. Given a repository and an issue, SWE-Explore asks an explorer to return a ranked list of relevant code regions under a fixed line budget. SWE-Explore covers 848 issues across 10 programming languages and 203 open-source repositories. For each instance, we derive line-level ground truth from independent agent trajectories that successfully solved the same issue, distilling the specific code regions their solution paths actually consulted. We evaluate exploration along coverage, ranking, and context-efficiency dimensions, showing that these metrics strongly track downstream repair behavior. Across a broad set of retrieval methods, general coding agents, and specialized localizers, we find that agentic explorers form a clear tier above classical retrieval. While file-level localization is already strong for modern methods, line-level coverage and efficient ranking remain the key axes differentiating state-of-the-art explorers.