AgentSWE：コーディングエージェントは、あなたが本当に望むエージェントを構築できるのか？

AgentSWE: Can Coding Agents Build the Agent You Actually Want?

October 9, 2026

著者: Jiahao Wang, Hongjin Qian, Yuyang Hu, Jiajun Zhang, Zheng Liu

cs.AI

要旨

ソフトウェアの生産がソフトウェア自身の手に渡るにつれ、コーディングエージェントは、ユーザー自身のワークフローに適合したエージェントを構築するよう委託されることがますます増えている。この委譲には、暗黙の前提がある。すなわち、納品されたエージェントは、単にそう見えるだけでなく、それが作られた要件に忠実に応えるという前提である。この前提を検証する既存のベンチマークは存在しない。我々はAgentSWEを導入する。これは、エージェント開発ライフサイクルの3段階にまたがるエージェントソフトウェアエンジニアリングのベンチマークである。すなわち、自然言語の要件から完全なエージェントを作成すること、実運用エージェントのコードベースを編集すること、測定可能な目標に向けて最適化することである。その25の各タスクは、試験ではなく委託として位置づけられる。構築者は少数の例示ケースに対して反復し、受け入れでは、凍結された提出物を、要件全体を網羅するように設計されたホールドアウトケース上で実行し、厳格な合否ゲートの下で要件から導出されたルーブリックに照らして振る舞いを採点する。または最適化については、元のベンチマーク自身の目的に照らして採点する。モデルとハーネスにまたがるさまざまなコーディングエージェントを評価したところ、要件が求めるものを納品することに近いものは一つもない。構築者が示すものと納品するものの間のギャップは、例外的状況ではなく常態である。失敗軌跡に関する付随的な実証分析は、繰り返し現れる失敗モードを特定する。その中には、可視ケースへの過適合、完全に見えるコードの背後にある空疎なランタイム、裏付けのない完了主張が含まれ、そのそれぞれが、コーディングエージェントが求められたエージェントを構築することを学ぶためのシグナルである。

English

As the production of software passes into the hands of software itself, coding agents are increasingly commissioned to build agents fitted to their users' own workflows. This delegation carries a quiet assumption, that the delivered agent will faithfully serve the requirement it was built for, rather than merely appear to. No existing benchmark tests that assumption. We introduce AgentSWE, a benchmark for agent software engineering spanning three stages of the agent development lifecycle: Creation of a complete agent from a natural-language requirement, Editing of production agent codebases, and Optimization toward a measurable target. Each of its 25 tasks is framed as a commission rather than an exam: the builder iterates against a handful of illustrative cases, while acceptance exercises the frozen submission on held-out cases designed to span the full requirement, grading behavior against requirement-derived rubrics under hard pass/fail gates or, for Optimization, against the source benchmark's own objective. Evaluating a range of coding agents across models and harnesses, we find that none comes close to delivering what a requirement asks for: the gap between what a builder demonstrates and what it delivers is the norm, not the corner case. An accompanying empirical analysis of the failure trajectories identifies recurring failure modes, among them overfitting to the visible cases, hollow runtimes behind code that looks complete, and unsupported claims of completion, each a signal by which coding agents can learn to build the agents they are asked for.