FeatureBench: Бенчмаркинг агентного программирования для разработки сложных функциональных возможностей

FeatureBench: Benchmarking Agentic Coding for Complex Feature Development

February 11, 2026

Авторы: Qixing Zhou, Jiacheng Zhang, Haiyang Wang, Rui Hao, Jiahe Wang, Minghao Han, Yuxue Yang, Shuzhe Wu, Feiyang Pan, Lue Fan, Dandan Tu, Zhaoxiang Zhang

cs.AI

Аннотация

Агенты на основе больших языковых моделей (LLM) все шире применяются в программной индустрии, участвуя в написании кода в качестве коллабораторов или даже автономных разработчиков. По мере роста их распространения становится важным оценить текущие границы их способностей к программированию. Однако существующие бенчмарки для оценки агентского кодирования охватывают ограниченный спектр задач, например, исправление ошибок в рамках одного пул-реквеста (PR), и часто полагаются на неисполняемые методы оценки или не имеют автоматизированного подхода для постоянного обновления охвата тестирования. Для решения этих проблем мы предлагаем FeatureBench — бенчмарк, предназначенный для оценки производительности агентского кодирования в сквозной, ориентированной на функции разработке программного обеспечения. FeatureBench включает протокол оценки на основе исполнения и масштабируемый тест-ориентированный метод, который автоматически извлекает задачи из репозиториев кода с минимальными усилиями со стороны человека. Путем трассировки от модульных тестов вдоль графа зависимостей наш подход позволяет выявлять задачи кодирования на уровне функций, охватывающие несколько коммитов и PR, разбросанных по временной шкале разработки, при этом гарантируя корректную работу других функций после их выделения. Используя этот фреймворк, мы отобрали 200 сложных оценочных задач и 3825 исполняемых окружений из 24 репозиториев с открытым исходным кодом для первой версии нашего бенчмарка. Эмпирическая оценка показывает, что современные агентские модели, такие как Claude 4.5 Opus, которые демонстрируют уровень разрешения задач 74.4% на SWE-bench, справляются лишь с 11.0% задач в нашем бенчмарке, открывая новые возможности для совершенствования агентского кодирования. Более того, благодаря нашему автоматизированному инструментарию для сбора задач, FeatureBench можно легко масштабировать и обновлять со временем для снижения риска утечки данных. Присущая построенным окружениям верифицируемость также делает наш метод потенциально ценным для обучения агентов.

English

Agents powered by large language models (LLMs) are increasingly adopted in the software industry, contributing code as collaborators or even autonomous developers. As their presence grows, it becomes important to assess the current boundaries of their coding abilities. Existing agentic coding benchmarks, however, cover a limited task scope, e.g., bug fixing within a single pull request (PR), and often rely on non-executable evaluations or lack an automated approach for continually updating the evaluation coverage. To address such issues, we propose FeatureBench, a benchmark designed to evaluate agentic coding performance in end-to-end, feature-oriented software development. FeatureBench incorporates an execution-based evaluation protocol and a scalable test-driven method that automatically derives tasks from code repositories with minimal human effort. By tracing from unit tests along a dependency graph, our approach can identify feature-level coding tasks spanning multiple commits and PRs scattered across the development timeline, while ensuring the proper functioning of other features after the separation. Using this framework, we curated 200 challenging evaluation tasks and 3825 executable environments from 24 open-source repositories in the first version of our benchmark. Empirical evaluation reveals that the state-of-the-art agentic model, such as Claude 4.5 Opus, which achieves a 74.4% resolved rate on SWE-bench, succeeds on only 11.0% of tasks, opening new opportunities for advancing agentic coding. Moreover, benefiting from our automated task collection toolkit, FeatureBench can be easily scaled and updated over time to mitigate data leakage. The inherent verifiability of constructed environments also makes our method potentially valuable for agent training.