FeatureBench: 複雑な機能開発におけるエージェント駆動コーディングのベンチマーク

要旨

大規模言語モデル（LLM）を中核とするエージェントがソフトウェア産業において、協働者または自律的な開発者としてコードを貢献する事例が増加している。その存在感が高まるにつれ、現時点でのコーディング能力の限界を評価することが重要となっている。しかし、既存のエージェント型コーディングベンチマークは、単一のプルリクエスト（PR）内でのバグ修正など、タスク範囲が限定されており、実行不可能な評価に依存したり、評価範囲を継続的に更新する自動化手法が欠如したりすることが多い。こうした課題を解決するため、我々はエンドツーエンドの機能指向ソフトウェア開発におけるエージェント型コーディング性能を評価するベンチマーク「FeatureBench」を提案する。FeatureBenchは、実行ベースの評価プロトコルと、人的労力を最小限に抑えてコードリポジトリからタスクを自動的に導出するスケーラブルなテスト駆動手法を組み込んでいる。依存関係グラフに沿って単体テストをトレースすることで、開発タイムラインに散在する複数のコミットやPRにまたがる機能レベルのコーディングタスクを特定しつつ、機能分離後も他の機能が正常に動作することを保証する。このフレームワークを用いて、初版ベンチマークでは24のオープンソースリポジトリから200の挑戦的な評価タスクと3825の実行可能環境を構築した。実証評価によると、SWE-benchで74.4%の解決率を達成したClaude 4.5 Opusなどの最先端エージェントモデルでも、本タスクの成功率はわずか11.0%であり、エージェント型コーディングの進化に向けた新たな可能性が示された。さらに、自動化されたタスク収集ツールキットの利点により、FeatureBenchはデータ漏洩を軽減しつつ容易にスケールと更新が可能である。構築環境の内在的な検証可能性は、本手法をエージェント訓練にも価値あるものとしている。

English

Agents powered by large language models (LLMs) are increasingly adopted in the software industry, contributing code as collaborators or even autonomous developers. As their presence grows, it becomes important to assess the current boundaries of their coding abilities. Existing agentic coding benchmarks, however, cover a limited task scope, e.g., bug fixing within a single pull request (PR), and often rely on non-executable evaluations or lack an automated approach for continually updating the evaluation coverage. To address such issues, we propose FeatureBench, a benchmark designed to evaluate agentic coding performance in end-to-end, feature-oriented software development. FeatureBench incorporates an execution-based evaluation protocol and a scalable test-driven method that automatically derives tasks from code repositories with minimal human effort. By tracing from unit tests along a dependency graph, our approach can identify feature-level coding tasks spanning multiple commits and PRs scattered across the development timeline, while ensuring the proper functioning of other features after the separation. Using this framework, we curated 200 challenging evaluation tasks and 3825 executable environments from 24 open-source repositories in the first version of our benchmark. Empirical evaluation reveals that the state-of-the-art agentic model, such as Claude 4.5 Opus, which achieves a 74.4% resolved rate on SWE-bench, succeeds on only 11.0% of tasks, opening new opportunities for advancing agentic coding. Moreover, benefiting from our automated task collection toolkit, FeatureBench can be easily scaled and updated over time to mitigate data leakage. The inherent verifiability of constructed environments also makes our method potentially valuable for agent training.

FeatureBench: 複雑な機能開発におけるエージェント駆動コーディングのベンチマーク

FeatureBench: Benchmarking Agentic Coding for Complex Feature Development

要旨

Support