FastContext: Entrenamiento de un Explorador de Repositorios Eficiente para Agentes de Codificación

Resumen

Los agentes de codificación basados en modelos de lenguaje de gran escala (LLM) han logrado resultados sólidos en tareas de ingeniería de software; sin embargo, la exploración del repositorio sigue siendo un cuello de botella importante: localizar el código relevante consume un presupuesto considerable de tokens y contamina el contexto del agente con fragmentos irrelevantes. En la mayoría de los agentes, el mismo modelo que explora el repositorio también resuelve la tarea, dejando lecturas exploratorias y búsquedas en el historial del solucionador. Presentamos FastContext, un subagente de exploración dedicado que separa la exploración del repositorio de la resolución. Invocado bajo demanda, FastContext emite llamadas paralelas a herramientas y devuelve rutas de archivo y rangos de líneas concisos como contexto focalizado. FastContext se basa en modelos de exploración especializados de entre 4B y 30B de parámetros. Los inicializamos a partir de trayectorias de modelos de referencia sólidos y los refinamos con recompensas basadas en la tarea para una búsqueda amplia en el primer turno, recopilación de evidencia en múltiples turnos y generación precisa de citas. En SWE-bench Multilingual, SWE-bench Pro y SWE-QA, la integración de FastContext en Mini-SWE-Agent mejora las tasas de resolución integral hasta en un 5.5%, reduce el consumo de tokens del agente de codificación hasta en un 60% y presenta un costo marginal mínimo. Estos resultados demuestran que la exploración del repositorio puede separarse de la resolución y ser manejada eficazmente por modelos especializados. Código y datos: https://github.com/microsoft/fastcontext

English

Large Language Model (LLM) coding agents have achieved strong results on software engineering tasks, yet repository exploration remains a major bottleneck: locating relevant code consumes substantial token budget and pollutes the agent's context with irrelevant snippets. In most agents, the same model explores the repository and solves the task, leaving exploratory reads and searches in the solver's history. We present FastContext, a dedicated exploration subagent that separates repository exploration from solving. Invoked on demand, FastContext issues parallel tool calls and returns concise file paths and line ranges as focused context. FastContext is powered by specialized exploration models spanning 4B--30B parameters. We bootstrap them from strong reference-model trajectories and refine them with task-grounded rewards for broad first-turn search, multi-turn evidence gathering, and precise citation generation. Across SWE-bench Multilingual, SWE-bench Pro, and SWE-QA, integrating FastContext into Mini-SWE-Agent improves end-to-end resolution rates up to 5.5\% while reducing coding-agent token consumption up to 60\%, with marginal overhead. These results show that repository exploration can be separated from solving and handled effectively by specialized models. Code and data: https://github.com/microsoft/fastcontext