SWE-Explore: Benchmarking der Repository-Erkundung durch Code-Agenten

Zusammenfassung

Benchmarks auf Repository-Ebene wie SWE-bench haben zu einem rasanten Anstieg der Fähigkeiten von Code-Agenten geführt. Dennoch behandeln sie Codierungsaufgaben in der Regel als ganzheitliches, binäres Vorhersageproblem (z. B. gelöst oder nicht gelöst) und vernachlässigen dabei feingranulare Agentenfähigkeiten wie Repository-Verständnis, Kontextabruf, Code-Lokalisierung und Fehlerdiagnose. In diesem Papier stellen wir SWE-Explore vor, einen Benchmark, der die Bewertung der Repository-Erkundung isoliert – einer kritischen Fähigkeit von Code-Agenten. SWE-Explore fordert einen Erkunder dazu auf, zu einem gegebenen Repository und einem Issue eine nach Relevanz geordnete Liste relevanter Codebereiche innerhalb eines festgelegten Zeilenbudgets zurückzugeben. Der Benchmark umfasst 848 Issues aus 10 Programmiersprachen und 203 Open-Source-Repositories. Für jede Instanz leiten wir zeilengenaue Referenzdaten aus unabhängigen Agenten-Trajektorien ab, die dasselbe Issue erfolgreich gelöst haben, und destillieren daraus die spezifischen Codebereiche, die deren Lösungspfade tatsächlich konsultiert haben. Wir bewerten die Exploration hinsichtlich Abdeckung, Ranking und Kontexteffizienz und zeigen, dass diese Metriken stark mit dem nachgelagerten Reparaturverhalten korrelieren. Über eine breite Palette von Retrieval-Methoden, allgemeinen Code-Agenten und spezialisierten Lokalisierern hinweg zeigt sich, dass agentische Erkunder eine klare Stufe oberhalb klassischer Retrieval-Verfahren bilden. Während die Lokalisierung auf Dateiebene bei modernen Methoden bereits sehr gut ist, bleiben die zeilengenaue Abdeckung und das effiziente Ranking die Schlüsseldimensionen, anhand derer sich führende Erkunder unterscheiden.

English

Repository-level coding benchmarks such as SWE-bench have driven a rapid surge in the capabilities of coding agents. Yet they usually treat coding tasks as a holistic, binary prediction problem (e.g., resolved or unresolved), neglecting fine-grained agent capabilities such as repository understanding, context retrieval, code localization, and bug diagnosis. In this paper, we introduce SWE-Explore, a benchmark that isolates the evaluation of repository exploration, a critical capability of coding agents. Given a repository and an issue, SWE-Explore asks an explorer to return a ranked list of relevant code regions under a fixed line budget. SWE-Explore covers 848 issues across 10 programming languages and 203 open-source repositories. For each instance, we derive line-level ground truth from independent agent trajectories that successfully solved the same issue, distilling the specific code regions their solution paths actually consulted. We evaluate exploration along coverage, ranking, and context-efficiency dimensions, showing that these metrics strongly track downstream repair behavior. Across a broad set of retrieval methods, general coding agents, and specialized localizers, we find that agentic explorers form a clear tier above classical retrieval. While file-level localization is already strong for modern methods, line-level coverage and efficient ranking remain the key axes differentiating state-of-the-art explorers.