EvoClaw : Évaluation des agents d'IA sur l'évolution continue des logiciels
EvoClaw: Evaluating AI Agents on Continuous Software Evolution
March 13, 2026
Auteurs: Gangda Deng, Zhaoling Chen, Zhongming Yu, Haoyang Fan, Yuhong Liu, Yuxin Yang, Dhruv Parikh, Rajgopal Kannan, Le Cong, Mengdi Wang, Qian Zhang, Viktor Prasanna, Xiangru Tang, Xingyao Wang
cs.AI
Résumé
Avec le déploiement croissant d'agents IA en tant que systèmes continus, il devient essentiel de construire de manière autonome et de faire évoluer en continu des logiciels personnalisés pour permettre l'interaction au sein d'environnements dynamiques. Pourtant, les benchmarks existants évaluent les agents sur des tâches de codage isolées et ponctuelles, négligeant les dépendances temporelles et la dette technique inhérentes à l'évolution réelle des logiciels. Pour combler cette lacune, nous présentons DeepCommit, un pipeline agentiel qui reconstruit des graphes acycliques orientés (DAG) de jalons vérifiables à partir de journaux de commit bruités, où les jalons sont définis comme des objectifs de développement sémantiquement cohésifs. Ces séquences exécutables permettent à EvoClaw, un nouveau benchmark qui exige des agents qu'ils maintiennent l'intégrité du système et limitent l'accumulation d'erreurs, des dimensions de l'évolution logicielle à long terme largement absentes des benchmarks actuels. Notre évaluation de 12 modèles de pointe sur 4 frameworks d'agents révèle une vulnérabilité critique : les scores de performance globaux chutent significativement, de plus de 80% sur les tâches isolées à au plus 38% dans des contextes continus, exposant la difficulté profonde des agents avec la maintenance à long terme et la propagation des erreurs.
English
With AI agents increasingly deployed as long-running systems, it becomes essential to autonomously construct and continuously evolve customized software to enable interaction within dynamic environments. Yet, existing benchmarks evaluate agents on isolated, one-off coding tasks, neglecting the temporal dependencies and technical debt inherent in real-world software evolution. To bridge this gap, we introduce DeepCommit, an agentic pipeline that reconstructs verifiable Milestone DAGs from noisy commit logs, where milestones are defined as semantically cohesive development goals. These executable sequences enable EvoClaw, a novel benchmark that requires agents to sustain system integrity and limit error accumulation, dimensions of long-term software evolution largely missing from current benchmarks. Our evaluation of 12 frontier models across 4 agent frameworks reveals a critical vulnerability: overall performance scores drop significantly from >80% on isolated tasks to at most 38% in continuous settings, exposing agents' profound struggle with long-term maintenance and error propagation.