EvoClaw: Avaliação de Agentes de IA na Evolução Contínua de Software
EvoClaw: Evaluating AI Agents on Continuous Software Evolution
March 13, 2026
Autores: Gangda Deng, Zhaoling Chen, Zhongming Yu, Haoyang Fan, Yuhong Liu, Yuxin Yang, Dhruv Parikh, Rajgopal Kannan, Le Cong, Mengdi Wang, Qian Zhang, Viktor Prasanna, Xiangru Tang, Xingyao Wang
cs.AI
Resumo
Com a crescente implantação de agentes de IA como sistemas de longa duração, torna-se essencial construir de forma autónoma e evoluir continuamente software personalizado para permitir a interação em ambientes dinâmicos. No entanto, os benchmarks existentes avaliam os agentes em tarefas de codificação isoladas e únicas, negligenciando as dependências temporais e a dívida técnica inerentes à evolução do software do mundo real. Para colmatar esta lacuna, introduzimos o DeepCommit, um pipeline agentivo que reconstrói Grafos Acíclicos Direcionados (DAGs) de Marcos verificáveis a partir de registos de commits ruidosos, onde os marcos são definidos como objetivos de desenvolvimento semanticamente coesos. Estas sequências executáveis permitem o EvoClaw, um novo benchmark que exige que os agentes mantenham a integridade do sistema e limitem a acumulação de erros, dimensões da evolução de software de longo prazo largamente ausentes dos benchmarks atuais. A nossa avaliação de 12 modelos de ponta em 4 frameworks de agentes revela uma vulnerabilidade crítica: as pontuações gerais de desempenho caem significativamente de >80% em tarefas isoladas para no máximo 38% em ambientes contínuos, expondo a luta profunda dos agentes com a manutenção de longo prazo e a propagação de erros.
English
With AI agents increasingly deployed as long-running systems, it becomes essential to autonomously construct and continuously evolve customized software to enable interaction within dynamic environments. Yet, existing benchmarks evaluate agents on isolated, one-off coding tasks, neglecting the temporal dependencies and technical debt inherent in real-world software evolution. To bridge this gap, we introduce DeepCommit, an agentic pipeline that reconstructs verifiable Milestone DAGs from noisy commit logs, where milestones are defined as semantically cohesive development goals. These executable sequences enable EvoClaw, a novel benchmark that requires agents to sustain system integrity and limit error accumulation, dimensions of long-term software evolution largely missing from current benchmarks. Our evaluation of 12 frontier models across 4 agent frameworks reveals a critical vulnerability: overall performance scores drop significantly from >80% on isolated tasks to at most 38% in continuous settings, exposing agents' profound struggle with long-term maintenance and error propagation.