SWE-bench Science: コーディングエージェントは科学分野におけるエンジニアリングタスクを解決できるか？

要旨

ソフトウェアはますます科学計測器そのものの一部として機能するようになっており、科学コードにおける障害は、プログラムの動作だけでなく、科学的結論の根拠となる証拠をも損なわせ得る。しかしながら、既存のコーディングエージェントの評価は、主にタスク全体の成功率を重視しており、エージェントが科学ソフトウェアの修復に失敗する理由についての洞察は限られている。本稿では、20の科学分野にわたる98のGitHubリポジトリから得た119タスクから構成される、科学ソフトウェア工学のためのリポジトリレベルのベンチマークであるSWE-bench Scienceを紹介する。各タスクは、課題駆動型（Issue-driven）、専門家探索型（Expert-exploratory）、エンジニアリング統合型（Engineering-integration）の3つのパラダイムのいずれかに分類される。最高性能のエージェントであるClaude Code with Opus-5（max）でさえ、pass@1は50％未満にとどまり、科学ソフトウェア工学がもたらす重大な課題を浮き彫りにしている。我々は、繰り返し発生する4つの障害メカニズムを特定した：科学的知識または抽象化の欠如、誤った方向への探索または表面的な修復、修復範囲またはシステム統合の不完全さ、そして観察された事例を超えた科学的知識の一般化の失敗である。さらに、明示的な科学的ガイダンスを除去しつつ、リポジトリと実行可能なエンジニアリングコンテキストを保持するペア設定アブレーションを実施した。その結果、科学的知識は一様に有益ではないことが示された：適切に根拠付けられた情報は修復を制約し、平均性能とトークン効率を向上させ得る一方、整合性の低いガイダンスはアンカリングを誘発し、完全な修復成功率を必ずしも向上させない。総合すると、SWE-bench Scienceは、科学ソフトウェア工学におけるコーディングエージェントの能力と障害メカニズムの両方を研究するための広範なテストベッドを提供する。

English

Software increasingly functions as part of the scientific instrument itself, making failures in scientific code capable of compromising not only program behavior but also the evidence underlying scientific conclusions. Yet existing evaluations of coding agents largely emphasize aggregate task success, providing limited insight into why agents fail when repairing scientific software. We introduce SWE-bench Science, a repository-level benchmark for scientific software engineering comprising 119 tasks from 98 GitHub repositories across 20 scientific domains. Each task is organized into one of three paradigms: Issue-driven, Expert-exploratory, and Engineering-integration. Even the best-performing agent, Claude Code with Opus-5 (max), achieves a pass@1 below 50\%, highlighting the substantial challenges posed by scientific software engineering. We identify four recurring failure mechanisms: deficits in scientific knowledge or abstraction, misguided exploration or surface-level repair, incomplete repair coverage or system integration, and failures to generalize scientific knowledge beyond observed cases in our analysis. We further conduct a paired ablation that removes explicit scientific guidance while preserving the repository and executable engineering context. The results show that scientific knowledge is not uniformly beneficial: well-grounded information can constrain repair and improve average performance and token efficiency, whereas poorly aligned guidance can induce anchoring and does not necessarily improve exact repair success. Together, SWE-bench Science provides a broad testbed for studying both the capabilities and failure mechanisms of coding agents in scientific software engineering.