FastContext: Обучение эффективного исследователя репозитория для агентов кодирования

Аннотация

Большие языковые модели (БЯМ) для агентов кодирования достигли высоких результатов в задачах программной инженерии, однако исследование репозитория остаётся основным узким местом: поиск релевантного кода потребляет значительный бюджет токенов и засоряет контекст агента посторонними фрагментами. В большинстве агентов одна и та же модель исследует репозиторий и решает задачу, оставляя следы исследовательских чтений и поисков в истории решателя. Мы представляем FastContext — специализированный под-агент исследования, который разделяет этапы исследования репозитория и решения задачи. Вызываемый по требованию, FastContext выполняет параллельные вызовы инструментов и возвращает краткие пути файлов и диапазоны строк в качестве сфокусированного контекста. FastContext работает на основе специализированных моделей исследования с параметрами от 4B до 30B. Мы загружаем их с помощью траекторий эталонной модели и уточняем с помощью вознаграждений, привязанных к задаче, для широкого поиска на первом шаге, многошагового сбора доказательств и точной генерации цитирований. На наборах данных SWE-bench Multilingual, SWE-bench Pro и SWE-QA интеграция FastContext в Mini-SWE-Agent повышает сквозные показатели решения до 5,5% при снижении потребления токенов агентом кодирования до 60% с минимальными накладными расходами. Эти результаты показывают, что исследование репозитория может быть отделено от решения и эффективно обрабатываться специализированными моделями. Код и данные: https://github.com/microsoft/fastcontext

English

Large Language Model (LLM) coding agents have achieved strong results on software engineering tasks, yet repository exploration remains a major bottleneck: locating relevant code consumes substantial token budget and pollutes the agent's context with irrelevant snippets. In most agents, the same model explores the repository and solves the task, leaving exploratory reads and searches in the solver's history. We present FastContext, a dedicated exploration subagent that separates repository exploration from solving. Invoked on demand, FastContext issues parallel tool calls and returns concise file paths and line ranges as focused context. FastContext is powered by specialized exploration models spanning 4B--30B parameters. We bootstrap them from strong reference-model trajectories and refine them with task-grounded rewards for broad first-turn search, multi-turn evidence gathering, and precise citation generation. Across SWE-bench Multilingual, SWE-bench Pro, and SWE-QA, integrating FastContext into Mini-SWE-Agent improves end-to-end resolution rates up to 5.5\% while reducing coding-agent token consumption up to 60\%, with marginal overhead. These results show that repository exploration can be separated from solving and handled effectively by specialized models. Code and data: https://github.com/microsoft/fastcontext