AgentSWE: 코딩 에이전트는 당신이 실제로 원하는 에이전트를 만들 수 있는가?

AgentSWE: Can Coding Agents Build the Agent You Actually Want?

October 9, 2026

저자: Jiahao Wang, Hongjin Qian, Yuyang Hu, Jiajun Zhang, Zheng Liu

cs.AI

초록

소프트웨어의 생산이 소프트웨어 자체의 손으로 넘어감에 따라, 코딩 에이전트는 점점 더 사용자 자신의 워크플로에 맞춘 에이전트를 구축하도록 위임받고 있다. 이러한 위임에는 은연중의 가정이 깔려 있다. 즉, 납품된 에이전트가 단지 그렇게 보이는 데 그치지 않고 자신이 구축된 요구사항을 충실히 수행하리라는 가정이다. 기존의 어떤 벤치마크도 이 가정을 검증하지 않는다. 우리는 에이전트 개발 수명주기의 세 단계—자연어 요구사항으로부터 완전한 에이전트를 생성하는 단계, 프로덕션 에이전트 코드베이스를 편집하는 단계, 측정 가능한 목표를 향한 최적화 단계—를 아우르는 에이전트 소프트웨어 엔지니어링 벤치마크인 AgentSWE를 소개한다. 이 벤치마크의 25개 과제 각각은 시험이 아니라 의뢰로 설정된다. 빌더는 소수의 예시 사례를 상대로 반복 작업하고, 검수 단계에서는 전체 요구사항을 포괄하도록 설계된 홀드아웃 사례에 동결된 제출물을 실행하면서, 엄격한 합격/불합격 게이트 아래에서 요구사항에서 도출된 루브릭에 따라 행동을 채점하거나, 최적화의 경우 원본 벤치마크 자체의 목표에 따라 채점한다. 다양한 모델과 하네스에 걸쳐 여러 코딩 에이전트를 평가한 결과, 어느 것도 요구사항이 요구하는 바를 제공하는 데 가까이 가지 못한다. 빌더가 보여주는 것과 실제로 전달하는 것 사이의 격차는 예외적인 경우가 아니라 일반적이다. 이에 수반되는 실패 궤적에 대한 실증 분석은 반복되는 실패 모드를 식별한다. 그중에는 가시적 사례에 대한 과적합, 완전해 보이는 코드 뒤의 빈 껍데기 런타임, 근거 없는 완료 주장이 있으며, 각각은 코딩 에이전트가 자신이 요청받은 에이전트를 구축하는 법을 배울 수 있게 하는 신호이다.

English

As the production of software passes into the hands of software itself, coding agents are increasingly commissioned to build agents fitted to their users' own workflows. This delegation carries a quiet assumption, that the delivered agent will faithfully serve the requirement it was built for, rather than merely appear to. No existing benchmark tests that assumption. We introduce AgentSWE, a benchmark for agent software engineering spanning three stages of the agent development lifecycle: Creation of a complete agent from a natural-language requirement, Editing of production agent codebases, and Optimization toward a measurable target. Each of its 25 tasks is framed as a commission rather than an exam: the builder iterates against a handful of illustrative cases, while acceptance exercises the frozen submission on held-out cases designed to span the full requirement, grading behavior against requirement-derived rubrics under hard pass/fail gates or, for Optimization, against the source benchmark's own objective. Evaluating a range of coding agents across models and harnesses, we find that none comes close to delivering what a requirement asks for: the gap between what a builder demonstrates and what it delivers is the norm, not the corner case. An accompanying empirical analysis of the failure trajectories identifies recurring failure modes, among them overfitting to the visible cases, hollow runtimes behind code that looks complete, and unsupported claims of completion, each a signal by which coding agents can learn to build the agents they are asked for.