SWE-bench Science: 코딩 에이전트가 과학 분야의 공학 작업을 해결할 수 있는가?

초록

소프트웨어는 점점 더 과학 기기 자체의 일부로 기능하게 되면서, 과학 코드의 오류는 프로그램 동작뿐만 아니라 과학적 결론의 근거가 되는 증거까지도 훼손할 수 있게 되었다. 그러나 기존의 코딩 에이전트 평가는 주로 전체 과제 성공률을 강조하며, 과학 소프트웨어를 수리할 때 에이전트가 실패하는 이유에 대한 통찰을 제한적으로 제공한다. 우리는 20개 과학 분야의 98개 GitHub 저장소에서 수집한 119개의 과제로 구성된 과학 소프트웨어 공학을 위한 저장소 수준 벤치마크인 SWE-bench Science를 소개한다. 각 과제는 이슈 중심(Issue-driven), 전문가 탐색(Expert-exploratory), 공학 통합(Engineering-integration)의 세 가지 패러다임 중 하나로 구성된다. 최고 성능의 에이전트인 Opus-5(max)를 사용하는 Claude Code조차도 pass@1이 50% 미만에 머물러, 과학 소프트웨어 공학이 제시하는 상당한 도전 과제를 부각한다. 우리는 반복적으로 나타나는 네 가지 실패 메커니즘을 식별한다: 과학적 지식이나 추상화의 부족, 잘못된 탐색 또는 표면적 수리, 불완전한 수리 범위 또는 시스템 통합, 그리고 분석에서 관찰된 사례를 넘어 과학적 지식을 일반화하지 못하는 실패이다. 또한 저장소와 실행 가능한 공학 맥락을 유지하면서 명시적인 과학적 지침을 제거하는 짝지어진 절제(paired ablation) 실험을 수행한다. 결과는 과학적 지식이 균일하게 유익하지 않다는 것을 보여준다: 근거가 충실한 정보는 수리를 제약하고 평균 성능과 토큰 효율성을 향상시킬 수 있는 반면, 정렬이 잘 안 된 지침은 앵커링(anchoring)을 유발하고 정확한 수리 성공을 반드시 개선하지는 않는다. 종합하면, SWE-bench Science는 과학 소프트웨어 공학에서 코딩 에이전트의 능력과 실패 메커니즘을 모두 연구할 수 있는 광범위한 테스트베드를 제공한다.

English

Software increasingly functions as part of the scientific instrument itself, making failures in scientific code capable of compromising not only program behavior but also the evidence underlying scientific conclusions. Yet existing evaluations of coding agents largely emphasize aggregate task success, providing limited insight into why agents fail when repairing scientific software. We introduce SWE-bench Science, a repository-level benchmark for scientific software engineering comprising 119 tasks from 98 GitHub repositories across 20 scientific domains. Each task is organized into one of three paradigms: Issue-driven, Expert-exploratory, and Engineering-integration. Even the best-performing agent, Claude Code with Opus-5 (max), achieves a pass@1 below 50\%, highlighting the substantial challenges posed by scientific software engineering. We identify four recurring failure mechanisms: deficits in scientific knowledge or abstraction, misguided exploration or surface-level repair, incomplete repair coverage or system integration, and failures to generalize scientific knowledge beyond observed cases in our analysis. We further conduct a paired ablation that removes explicit scientific guidance while preserving the repository and executable engineering context. The results show that scientific knowledge is not uniformly beneficial: well-grounded information can constrain repair and improve average performance and token efficiency, whereas poorly aligned guidance can induce anchoring and does not necessarily improve exact repair success. Together, SWE-bench Science provides a broad testbed for studying both the capabilities and failure mechanisms of coding agents in scientific software engineering.