FeatureBench: Avaliação de Codificação Agente para Desenvolvimento de Funcionalidades Complexas
FeatureBench: Benchmarking Agentic Coding for Complex Feature Development
February 11, 2026
Autores: Qixing Zhou, Jiacheng Zhang, Haiyang Wang, Rui Hao, Jiahe Wang, Minghao Han, Yuxue Yang, Shuzhe Wu, Feiyang Pan, Lue Fan, Dandan Tu, Zhaoxiang Zhang
cs.AI
Resumo
Os agentes alimentados por grandes modelos de linguagem (LLMs) estão sendo cada vez mais adotados na indústria de software, contribuindo com código como colaboradores ou até mesmo como desenvolvedores autônomos. À medida que sua presença cresce, torna-se importante avaliar os limites atuais de suas habilidades de codificação. No entanto, os benchmarks existentes para codificação agêntica cobrem um escopo limitado de tarefas, por exemplo, correção de bugs dentro de um único *pull request* (PR), e frequentemente dependem de avaliações não executáveis ou carecem de uma abordagem automatizada para atualizar continuamente a cobertura da avaliação. Para resolver tais problemas, propomos o FeatureBench, um benchmark projetado para avaliar o desempenho da codificação agêntica no desenvolvimento de software orientado a funcionalidades (*features*) de ponta a ponta. O FeatureBench incorpora um protocolo de avaliação baseado em execução e um método escalável orientado a testes que deriva tarefas automaticamente a partir de repositórios de código com esforço humano mínimo. Ao rastrear a partir de testes unitários ao longo de um grafo de dependências, nossa abordagem pode identificar tarefas de codificação em nível de funcionalidade, abrangendo múltiplos *commits* e PRs dispersos pela linha do tempo de desenvolvimento, garantindo ao mesmo tempo o funcionamento adequado de outras funcionalidades após a separação. Usando esta estrutura, curamos 200 tarefas de avaliação desafiadoras e 3825 ambientes executáveis a partir de 24 repositórios de código aberto na primeira versão do nosso benchmark. A avaliação empírica revela que o modelo agêntico estado da arte, como o Claude 4.5 Opus, que alcança uma taxa de resolução de 74,4% no SWE-bench, tem sucesso em apenas 11,0% das tarefas, abrindo novas oportunidades para o avanço da codificação agêntica. Além disso, beneficiando-se do nosso kit de ferramentas de coleta automática de tarefas, o FeatureBench pode ser facilmente dimensionado e atualizado ao longo do tempo para mitigar o vazamento de dados. A verificabilidade inerente dos ambientes construídos também torna nosso método potencialmente valioso para o treinamento de agentes.
English
Agents powered by large language models (LLMs) are increasingly adopted in the software industry, contributing code as collaborators or even autonomous developers. As their presence grows, it becomes important to assess the current boundaries of their coding abilities. Existing agentic coding benchmarks, however, cover a limited task scope, e.g., bug fixing within a single pull request (PR), and often rely on non-executable evaluations or lack an automated approach for continually updating the evaluation coverage. To address such issues, we propose FeatureBench, a benchmark designed to evaluate agentic coding performance in end-to-end, feature-oriented software development. FeatureBench incorporates an execution-based evaluation protocol and a scalable test-driven method that automatically derives tasks from code repositories with minimal human effort. By tracing from unit tests along a dependency graph, our approach can identify feature-level coding tasks spanning multiple commits and PRs scattered across the development timeline, while ensuring the proper functioning of other features after the separation. Using this framework, we curated 200 challenging evaluation tasks and 3825 executable environments from 24 open-source repositories in the first version of our benchmark. Empirical evaluation reveals that the state-of-the-art agentic model, such as Claude 4.5 Opus, which achieves a 74.4% resolved rate on SWE-bench, succeeds on only 11.0% of tasks, opening new opportunities for advancing agentic coding. Moreover, benefiting from our automated task collection toolkit, FeatureBench can be easily scaled and updated over time to mitigate data leakage. The inherent verifiability of constructed environments also makes our method potentially valuable for agent training.