FastContext: 코딩 에이전트를 위한 효율적인 저장소 탐색기 학습

초록

대규모 언어 모델(LLM) 코딩 에이전트는 소프트웨어 엔지니어링 작업에서 뛰어난 성과를 보여주었지만, 저장소 탐색은 여전히 주요 병목 현상으로 남아 있다: 관련 코드를 찾는 과정에서 상당한 토큰 예산이 소모되고, 에이전트의 컨텍스트가 관련 없는 조각들로 오염된다. 대부분의 에이전트에서는 동일한 모델이 저장소를 탐색하고 작업을 해결하므로, 탐색적 읽기 및 검색이 해결사의 이력에 남게 된다. 본 논문에서는 저장소 탐색과 해결을 분리하는 전용 탐색 서브에이전트인 FastContext를 제시한다. 필요 시 호출되는 FastContext는 병렬 도구 호출을 수행하고, 집중된 컨텍스트로서 간결한 파일 경로와 라인 범위를 반환한다. FastContext는 4B~30B 파라미터 범위의 특화된 탐색 모델로 구동된다. 강력한 참조 모델 궤적에서 이들을 부트스트래핑하고, 광범위한 첫 번째 턴 탐색, 다중 턴 증거 수집, 정확한 인용 생성에 대한 작업 기반 보상으로 정교화한다. SWE-bench Multilingual, SWE-bench Pro 및 SWE-QA 전반에 걸쳐, FastContext를 Mini-SWE-Agent에 통합하면 종단 간 해결률이 최대 5.5% 향상되고, 코딩 에이전트의 토큰 소비는 최대 60% 감소하며, 오버헤드는 미미하다. 이러한 결과는 저장소 탐색이 해결과 분리될 수 있으며, 특화된 모델에 의해 효과적으로 처리될 수 있음을 보여준다. 코드 및 데이터: https://github.com/microsoft/fastcontext

English

Large Language Model (LLM) coding agents have achieved strong results on software engineering tasks, yet repository exploration remains a major bottleneck: locating relevant code consumes substantial token budget and pollutes the agent's context with irrelevant snippets. In most agents, the same model explores the repository and solves the task, leaving exploratory reads and searches in the solver's history. We present FastContext, a dedicated exploration subagent that separates repository exploration from solving. Invoked on demand, FastContext issues parallel tool calls and returns concise file paths and line ranges as focused context. FastContext is powered by specialized exploration models spanning 4B--30B parameters. We bootstrap them from strong reference-model trajectories and refine them with task-grounded rewards for broad first-turn search, multi-turn evidence gathering, and precise citation generation. Across SWE-bench Multilingual, SWE-bench Pro, and SWE-QA, integrating FastContext into Mini-SWE-Agent improves end-to-end resolution rates up to 5.5\% while reducing coding-agent token consumption up to 60\%, with marginal overhead. These results show that repository exploration can be separated from solving and handled effectively by specialized models. Code and data: https://github.com/microsoft/fastcontext