SWE-Explore: Evaluación comparativa de cómo los agentes de codificación exploran repositorios

Resumen

Los benchmarks de codificación a nivel de repositorio, como SWE-bench, han impulsado un rápido avance en las capacidades de los agentes de codificación. Sin embargo, suelen tratar las tareas de codificación como un problema holístico de predicción binaria (por ejemplo, resuelto o no resuelto), ignorando capacidades finas de los agentes como la comprensión del repositorio, la recuperación de contexto, la localización de código y el diagnóstico de errores. En este artículo presentamos SWE-Explore, un benchmark que aísla la evaluación de la exploración de repositorios, una capacidad crítica de los agentes de codificación. Dado un repositorio y una incidencia, SWE-Explore solicita a un explorador que devuelva una lista clasificada de regiones de código relevantes bajo un presupuesto fijo de líneas. SWE-Explore cubre 848 incidencias en 10 lenguajes de programación y 203 repositorios de código abierto. Para cada instancia, derivamos la verdad fundamental a nivel de línea a partir de trayectorias independientes de agentes que resolvieron exitosamente la misma incidencia, destilando las regiones de código específicas que sus rutas de solución realmente consultaron. Evaluamos la exploración en las dimensiones de cobertura, clasificación y eficiencia de contexto, mostrando que estas métricas se correlacionan fuertemente con el comportamiento de reparación posterior. En un amplio conjunto de métodos de recuperación, agentes de codificación generales y localizadores especializados, encontramos que los exploradores agentivos forman un nivel claramente superior a la recuperación clásica. Si bien la localización a nivel de archivo ya es sólida para los métodos modernos, la cobertura a nivel de línea y la clasificación eficiente siguen siendo los ejes clave que diferencian a los exploradores de vanguardia.

English

Repository-level coding benchmarks such as SWE-bench have driven a rapid surge in the capabilities of coding agents. Yet they usually treat coding tasks as a holistic, binary prediction problem (e.g., resolved or unresolved), neglecting fine-grained agent capabilities such as repository understanding, context retrieval, code localization, and bug diagnosis. In this paper, we introduce SWE-Explore, a benchmark that isolates the evaluation of repository exploration, a critical capability of coding agents. Given a repository and an issue, SWE-Explore asks an explorer to return a ranked list of relevant code regions under a fixed line budget. SWE-Explore covers 848 issues across 10 programming languages and 203 open-source repositories. For each instance, we derive line-level ground truth from independent agent trajectories that successfully solved the same issue, distilling the specific code regions their solution paths actually consulted. We evaluate exploration along coverage, ranking, and context-efficiency dimensions, showing that these metrics strongly track downstream repair behavior. Across a broad set of retrieval methods, general coding agents, and specialized localizers, we find that agentic explorers form a clear tier above classical retrieval. While file-level localization is already strong for modern methods, line-level coverage and efficient ranking remain the key axes differentiating state-of-the-art explorers.