FeatureBench: Benchmarking agentenbasierter Programmierung für komplexe Funktionsentwicklung
FeatureBench: Benchmarking Agentic Coding for Complex Feature Development
February 11, 2026
papers.authors: Qixing Zhou, Jiacheng Zhang, Haiyang Wang, Rui Hao, Jiahe Wang, Minghao Han, Yuxue Yang, Shuzhe Wu, Feiyang Pan, Lue Fan, Dandan Tu, Zhaoxiang Zhang
cs.AI
papers.abstract
Von großen Sprachmodellen (LLMs) angetriebene Agenten werden in der Softwareindustrie zunehmend eingesetzt und tragen als Mitwirkende oder sogar als autonome Entwickler Code bei. Mit ihrer wachsenden Verbreitung wird es wichtig, die aktuellen Grenzen ihrer Programmierfähigkeiten zu bewerten. Bestehende benchmarks für agentenbasierte Programmierung decken jedoch nur einen begrenzten Aufgabenumfang ab, z. B. Fehlerbehebungen innerhalb eines einzelnen Pull Requests (PR), und stützen sich oft auf nicht ausführbare Bewertungen oder es fehlt ihnen an einem automatisierten Ansatz zur kontinuierlichen Aktualisierung der Testabdeckung. Um diese Probleme zu adressieren, schlagen wir FeatureBench vor, einen Benchmark, der dazu entwickelt wurde, die Leistung agentenbasierter Programmierung in end-to-end, funktionsorientierter Softwareentwicklung zu bewerten. FeatureBench integriert ein ausführungsbasiertes Bewertungsprotokoll und eine skalierbare, testgetriebene Methode, die Aufgaben mit minimalem menschlichem Aufwand automatisch aus Code-Repositories ableitet. Durch die Verfolgung von Unit-Tests entlang eines Abhängigkeitsgraphen kann unser Ansatz funktionsbezogene Programmieraufgaben identifizieren, die sich über mehrere Commits und PRs erstrecken, die über den Entwicklungszeitraum verstreut sind, und dabei gleichzeitig die einwandfreie Funktion anderer Features nach der Abtrennung sicherstellen. Mit diesem Framework haben wir in der ersten Version unseres Benchmarks 200 anspruchsvolle Testaufgaben und 3825 ausführbare Umgebungen aus 24 Open-Source-Repositories zusammengestellt. Empirische Auswertungen zeigen, dass modernste agentenbasierte Modelle wie Claude 4.5 Opus, die eine Lösungsrate von 74,4 % auf SWE-bench erreichen, bei nur 11,0 % der Aufgaben erfolgreich sind, was neue Möglichkeiten für die Weiterentwicklung agentenbasierter Programmierung eröffnet. Darüber hinaus kann FeatureBench dank unseres automatisierten Toolkits zur Aufgabensammlung leicht skaliert und im Laufe der Zeit aktualisiert werden, um Datenlecks zu mindern. Die inhärente Verifizierbarkeit der konstruierten Umgebungen macht unsere Methode auch potenziell wertvoll für das Training von Agenten.
English
Agents powered by large language models (LLMs) are increasingly adopted in the software industry, contributing code as collaborators or even autonomous developers. As their presence grows, it becomes important to assess the current boundaries of their coding abilities. Existing agentic coding benchmarks, however, cover a limited task scope, e.g., bug fixing within a single pull request (PR), and often rely on non-executable evaluations or lack an automated approach for continually updating the evaluation coverage. To address such issues, we propose FeatureBench, a benchmark designed to evaluate agentic coding performance in end-to-end, feature-oriented software development. FeatureBench incorporates an execution-based evaluation protocol and a scalable test-driven method that automatically derives tasks from code repositories with minimal human effort. By tracing from unit tests along a dependency graph, our approach can identify feature-level coding tasks spanning multiple commits and PRs scattered across the development timeline, while ensuring the proper functioning of other features after the separation. Using this framework, we curated 200 challenging evaluation tasks and 3825 executable environments from 24 open-source repositories in the first version of our benchmark. Empirical evaluation reveals that the state-of-the-art agentic model, such as Claude 4.5 Opus, which achieves a 74.4% resolved rate on SWE-bench, succeeds on only 11.0% of tasks, opening new opportunities for advancing agentic coding. Moreover, benefiting from our automated task collection toolkit, FeatureBench can be easily scaled and updated over time to mitigate data leakage. The inherent verifiability of constructed environments also makes our method potentially valuable for agent training.