FastContext: コーディングエージェントのための効率的なリポジトリ探索器の訓練

要旨

大規模言語モデル（LLM）コーディングエージェントはソフトウェア工学タスクにおいて優れた成果を上げているが、リポジトリ探索は依然として大きなボトルネックである。関連コードの特定には多大なトークン予算が消費され、エージェントのコンテキストが無関係なスニペットで汚染される。ほとんどのエージェントでは、同一のモデルがリポジトリ探索とタスク解決の両方を行い、探索的な読み取りや検索が解決履歴に残る。本稿では、FastContextを提案する。これは、リポジトリ探索を解決から分離する専用の探索サブエージェントである。オンデマンドで呼び出されるFastContextは、並列ツール呼び出しを発行し、簡潔なファイルパスと行範囲をフォーカスされたコンテキストとして返す。FastContextは、40億から300億パラメータにわたる専用探索モデルにより駆動される。強力な参照モデル軌跡からブートストラップし、タスクに基づいた報酬により、広範な初回ターン探索、複数ターンの証拠収集、正確な引用生成を洗練する。SWE-bench Multilingual、SWE-bench Pro、SWE-QAにおいて、FastContextをMini-SWE-Agentに統合することで、エンドツーエンド解決率を最大5.5%向上させ、コーディングエージェントのトークン消費を最大60%削減し、オーバーヘッドはわずかである。これらの結果は、リポジトリ探索を解決から分離し、専用モデルで効果的に処理できることを示している。コードとデータ：https://github.com/microsoft/fastcontext

English

Large Language Model (LLM) coding agents have achieved strong results on software engineering tasks, yet repository exploration remains a major bottleneck: locating relevant code consumes substantial token budget and pollutes the agent's context with irrelevant snippets. In most agents, the same model explores the repository and solves the task, leaving exploratory reads and searches in the solver's history. We present FastContext, a dedicated exploration subagent that separates repository exploration from solving. Invoked on demand, FastContext issues parallel tool calls and returns concise file paths and line ranges as focused context. FastContext is powered by specialized exploration models spanning 4B--30B parameters. We bootstrap them from strong reference-model trajectories and refine them with task-grounded rewards for broad first-turn search, multi-turn evidence gathering, and precise citation generation. Across SWE-bench Multilingual, SWE-bench Pro, and SWE-QA, integrating FastContext into Mini-SWE-Agent improves end-to-end resolution rates up to 5.5\% while reducing coding-agent token consumption up to 60\%, with marginal overhead. These results show that repository exploration can be separated from solving and handled effectively by specialized models. Code and data: https://github.com/microsoft/fastcontext