EvoClaw: Valutazione di Agenti di Intelligenza Artificiale sull'Evoluzione Continua del Software
EvoClaw: Evaluating AI Agents on Continuous Software Evolution
March 13, 2026
Autori: Gangda Deng, Zhaoling Chen, Zhongming Yu, Haoyang Fan, Yuhong Liu, Yuxin Yang, Dhruv Parikh, Rajgopal Kannan, Le Cong, Mengdi Wang, Qian Zhang, Viktor Prasanna, Xiangru Tang, Xingyao Wang
cs.AI
Abstract
Con il crescente dispiegamento di agenti di IA come sistemi di lunga durata, diventa essenziale costruire autonomamente ed evolvere continuamente software personalizzato per consentire l'interazione in ambienti dinamici. Tuttavia, i benchmark esistenti valutano gli agenti su compiti di codifica isolati e una tantum, trascurando le dipendenze temporali e il debito tecnico inerenti all'evoluzione del software nel mondo reale. Per colmare questa lacuna, introduciamo DeepCommit, una pipeline agentica che ricostruisce DAG di Milestone verificabili da log di commit rumorosi, dove le milestone sono definite come obiettivi di sviluppo semanticamente coesi. Queste sequenze eseguibili abilitano EvoClaw, un nuovo benchmark che richiede agli agenti di mantenere l'integrità del sistema e limitare l'accumulo di errori, dimensioni dell'evoluzione software a lungo termine largamente assenti nei benchmark attuali. La nostra valutazione di 12 modelli all'avanguardia su 4 framework per agenti rivela una vulnerabilità critica: i punteggi di performance complessivi crollano significativamente da >80% su compiti isolati a un massimo del 38% in contesti continui, esponendo la profonda difficoltà degli agenti con la manutenzione a lungo termine e la propagazione degli errori.
English
With AI agents increasingly deployed as long-running systems, it becomes essential to autonomously construct and continuously evolve customized software to enable interaction within dynamic environments. Yet, existing benchmarks evaluate agents on isolated, one-off coding tasks, neglecting the temporal dependencies and technical debt inherent in real-world software evolution. To bridge this gap, we introduce DeepCommit, an agentic pipeline that reconstructs verifiable Milestone DAGs from noisy commit logs, where milestones are defined as semantically cohesive development goals. These executable sequences enable EvoClaw, a novel benchmark that requires agents to sustain system integrity and limit error accumulation, dimensions of long-term software evolution largely missing from current benchmarks. Our evaluation of 12 frontier models across 4 agent frameworks reveals a critical vulnerability: overall performance scores drop significantly from >80% on isolated tasks to at most 38% in continuous settings, exposing agents' profound struggle with long-term maintenance and error propagation.